Cómo actualizar/actualizar un conjunto de datos recurrente que se compone de diferentes entradas procedentes de diferentes bases de datos

[Syndicate_Admin]

Estimados todos,

Me gustaría crear un conjunto de datos de Power BI que esté hecho de diferentes entradas provenientes de diferentes bases de datos (algunas de SQL, otras de Oracle... etc.) Para esta extracción inicial de datos, hicimos que eso sucediera a través de Python ya que Python es solo una forma en PowerBI, encuentro por el momento, que me permite conectarme a diferentes bases de datos y extraer diferentes entradas en un solo script con parámetros dinámicos (como Acctperiod, LegalEntityCode ...); de lo contrario, con otras opciones de "orígenes de datos" en PowerBI, parece que tengo que construir/actualizar los diferentes scripts/tablas uno por uno haciendo frente al nuevo código SQL actualizado en cada tabla... etc.... lo cual es demasiado tedioso y definitivamente no es la solución final a la que me dirigiría... 😞

Una vez que este conjunto de datos inicial esté disponible, tendré que hacer alguna transformación de datos, creación de nuevas medidas / columnas, creación de nuevas tablas tecnológicas ... etc en PowerBI para la visualización final y mis informes finales se basarán en este conjunto de datos refinado.

Mi objetivo es actualizar este conjunto de datos inicial cada trimestre y espero reutilizar todos los cambios, transformaciones, consultas de datos y modelado realizados en PowerBI.

pero no vi eso posible en PowerBI, con las pruebas realizadas hasta ahora, mi script de Python me trae un conjunto de datos que contiene diferentes entradas / tablas, pero una vez que actualizo los parámetros en Python y reimizo el mismo conjunto de datos, nueva tabla con sufijo (1) (2) ... se generará que no es lo que estoy buscando.

Espero dejar claras mis ideas, cualquiera tiene una mejor práctica para compartir, por favor.

Muchas gracias

[Syndicate_Admin]

Tal vez sea más fácil saltar a una llamada y mirarla.

[Syndicate_Admin]

@DanZ aún puede filtrar los datos en Power BI (Power Query) durante los últimos dos años, no tiene que filtrarlo en Python y, con el plegado de consultas (la mayoría de los RDBMS admiten el plegado de consultas), la consulta se enviará de vuelta a la base de datos y todo debería funcionar bien. Puede hacer que la solución sea inteligente para usar siempre los últimos dos años o lo que desee para que no haya necesidad de volver y hacer ningún cambio.

[Syndicate_Admin]

Puede que me falte algo aquí, pero no veo cómo. por ejemplo, cuando extraigo la información de SQL/Oracle, el script ya es bastante complejo y contiene muchos parámetros, y algunos parámetros ni siquiera se usan en PowerBI... 😔

¿Podría aconsejar más, por favor?

[Syndicate_Admin]

@DanZ independientemente de la forma en que vaya, en algún lugar debe cambiar el valor del parámetro. puede crear estos parámetros en la power query y usarlos en sus consultas para cada fuente, por lo que cada vez que cambie el valor del parámetro, cambiará todas las consultas correspondientes. Parece que me falta algo aquí, no debería ser tan difícil.

[Syndicate_Admin]

ok, veo dónde nos causa tener diferentes entendimientos sobre la solución.
La razón por la que tengo que construir "un conjunto de datos inicial" con Python, es porque, los datos / tablas sin procesar en Oracle / SQL son enormes, no puedo extraer toda la tabla de Oracle / SQL DB y luego usar la funcionalidad de "parámetros" proporcionada en BI. es por eso que definí mis parámetros en Python que recopilarán toda la información que necesito de diferentes lugares. dicho esto, cada trimestre, necesito hacer análisis PL YtD durante los últimos 2 años, mientras que los datos de fuentes en Oracle contienen toda la información pl (en diferentes tablas, por supuesto) desde la década de 1980 o antes ... así que ahora, mi solución python solo toma los datos de 2020 (Q1-Q4) y 2021 (Q1-latestQ) para una empresa determinada. etc
Con nuestras experiencias, incluso con un alcance muy limitado de la información de datos, cuando el conjunto de datos se está volviendo razonablemente complejo, el rendimiento de PowerBI será apenas tolerable. Es por eso que creemos que podría ser mejor reducir el tamaño del conjunto de datos inicial.
¿Tengo algún sentido?

[Syndicate_Admin]

@parry2k, gracias por sus comentarios.

Lo que mencionaste funciona (ineficientemente) definitivamente. pero personalmente, nunca haré eso en mi trabajo. No creo que pasaría demasiado tiempo simplemente actualizando diferentes parámetros en diferentes scripts y divirtiéndome copiando y pegando en PowerBI uno por uno ... si solo tuviera 1 mesa, tal vez pueda vivir con eso. Sin embargo, como mencioné, tengo que extraer diferentes tablas de diferentes bases de datos (en total más de 30 tablas para ser extraídas inicialmente, y para 5 entidades diferentes cada quatre y dentro de una línea de tiempo muy corta), y cada script tiene innumerables parámetros para actualizar cada trimestre ... lamentablemente, no lo consideraré como una opción.

[Syndicate_Admin]

@DanZ No creo que ir a la ruta de Python para combinar conjuntos de datos sea un buen enfoque. Creo que debe corregir directamente a cada fuente de datos, agregar / fusionar / transformar lo que sea necesario hacer (o lo que sea que esté haciendo Python) y esa debería ser su solución. No entiendo por qué este enfoque no funcionará. Parece que está complicando demasiado la solución, que debería ser bastante sencilla.