Forum Discussion
¿Debo usar SQL o Power Query para transformaciones de datos? ¿O algo más?
Hola @analyticsyc - Maxim de Roche - hacer la transformación lo más arriba posible y aguas abajo cuando sea necesario.
Al crear vistas SQL para la base de todos sus extractos es ventajoso. Cuando se realizan cambios en la base de datos principal, las vistas pueden estar sujetas a pruebas del sistema antes de la implementación de producción. Dicho esto, es poco probable que se cambien las tablas en el sistema ERP. Pero, ¿qué tan fácil es para usted incluir y realizar cambios en las vistas en el ERP principal? Además, cuando realice cambios en estas vistas, los cambios no se cargarán necesariamente en los modelos de datos de Power BI.
Crearía una canalización antes de importarla a los archivos de conjunto de datos de Power BI para extraer los datos de ERP y, a continuación, transformarlos.
Personalmente, me gusta Dataflows porque hace las cosas de una manera No-Code / Low-Code y utiliza el plegado de consultas contra la fuente. Esto le permite centralizar Power Query en un solo lugar, pero no tendrá la flexibilidad ni la escala de otras soluciones de lago de datos de Azure.
Por lo tanto, tiene sentido replicar el ERP en una casa de lago para transformaciones de bronce, plata y oro. Recomendaría usar Azure pipeline para replicar la base de datos de ERP. Aquí hay un par de videos para ver:
¿Lakehouse de datos moderno? ¿Por dónde empezar??? ¡Azure Synapse, por supuesto! - YouTube.
Fusionar sus datos en un moderno almacén de datos de Lakehouse: YouTube.