Forum Discussion
AdministratorProblema con la transformación en Power Query
hola
Soy el usuario principiante de Power BI y necesito ayuda para optimizar las transformaciones de Power Query, ya que surgieron para ser tan pesadas que no permiten un trabajo fluido.
Como fuente tengo un archivo de Excel con datos de mercado que descargo del sistema del proveedor. Los datos son los siguientes:
- Las primeras 4 columnas contienen datos descriptivos como: subregiones (505), mercados (11), marcas (110) y producto (212). Tal combinación da aproximadamente 107k filas.
- Las siguientes 28 columnas contienen volúmenes de los últimos 28 meses. Al final hay siguientes 28 columnas que contienen valores también para los mismos últimos 28 meses.
- Por lo tanto, la tabla total es de 60 columnas x 107k filas
Podría descargar los datos en el diseño esperado (donde los años y los meses se incluyen en dos columnas como variables y volúmenes y valores en dos columnas separadas), pero desafortunadamente dicho diseño supera 1 millón de filas.
El formato del archivo de texto o Excel (las únicas opciones posibles) no permite dicho rango.
La conexión directa al sistema del proveedor no es una opción.
Por lo tanto, para lograr el diseño esperado en Power Query, apliqué los pasos siguientes:
- Desesgo las columnas con volúmenes y valores. Resultado : columnas mencionadas anteriormente con datos descriptivos + columna con valores como "Vol 2021 01" + columna con números
- Esta columna la partí en "Vol/ Val", columnas de año y mes
- Al final utilicé la función "Columna dinámica" para transformar la columna "Vol / Val" en columnas separadas
Este último paso es el más sobrecargado para la memoria y tarda varias docenas de minutos. A veces, el proceso de cálculo / conversión de los datos mencionados simplemente no termina.
¿Tengo que reconsiderar Azure SQL para almacenar los datos transformados?
¿Tal vez DAX Studio permite una transformación más optimizada?
Cualquier otra solución es bienvenida 🙂
4 Replies
Syndicate_AdminDifícil de solucionar problemas sin ver los datos y la consulta. Pero aquí hay un artículo que muestra otra manera de tratar con las columnas vol y val en lugar de despivoting /repivoting. Es posible que pueda adaptar el ejemplo de Columnas repetidas, pero requiere algunos conocimientos básicos de M sobre la creación de registros y listas.
Transformaciones de datos más rápidas con funciones de lista/registro M - YouTube
palmadita
- Syndicate_Admin
Hola Pat,
Realmente pido disculpas por responder tan tarde.
Es porque encontré alguna solución en el foro differet, que cumplió con mis expectativas en la mayoría.
Sin embargo, también miraré el tuyo cuidadosamente.
Por cierto, quería pegar aquí alguna tabla de muestra como usted deseaba, pero me enfrenté a un error con HTML.
- Syndicate_Admin
No @jagger3 ,
Es porque encontré alguna solución en el foro differet, que cumplió con mis expectativas en la mayoría.
¿Podría compartirnos las soluciones?
Por cierto, quería pegar aquí alguna tabla de muestra como usted deseaba, pero me enfrenté a un error con HTML.
Puede consultar esta publicación para proporcionar datos de ejemplo: Cómo proporcionar datos de ejemplo en el Foro de Power BI - Comunidad de Microsoft Power BI.
Saludos
Icey