Forum Discussion
AdministratorPower Query extremadamente lento con datos importados
Hola a todos,
Tengo una configuración que parece 1 tabla de big data, luego 5 listas diferentes de elementos que uso como criterios de búsqueda contra texto libre en Power Query para crear 5 nuevos campos. Todo eso funciona como un sueño cuando esas listas se han introducido directamente en el documento.
Mi problema es que estaba buscando almacenar esas listas fuera del documento, probablemente en Sharepoint, para que puedan actualizarse allí en lugar de dentro de Power Bi. Cuando hago eso, veo que el tiempo de procesamiento es más que el cuádruple en comparación con cuando acabo de ingresar los datos directamente. ¿Alguien sabe por qué?
Los ganchos de datos están en modo de importación, la importación en sí tarda segundos ya que los archivos son pequeños. Lo he probado en archivos de Sharepoint, listas, CSV, CSV locales, etc., pero todo va lento.
4 Replies
Syndicate_AdminHay @daveedd
Es difícil decir exactamente lo que está sucediendo, pero si coloca los datos en una ubicación de almacenamiento remoto, debe esperar una carga más lenta. ¿Exactamente qué tan lento es? ¿10 segundos? 20?
¿Ha intentado usar OneDrive en lugar de Sharepoint?
Saludos
Phil
- Syndicate_Admin
Hay @PhilipTreacy
Es mucho más lento. Un tamaño de muestra de prueba de 1000 registros tardó 8 segundos cuando los datos se almacenaron directamente en el archivo de Power Bi. Para hacer solo la mitad del procesamiento tomó 2 minutos cuando se usaron datos de una fuente externa.
Lo probé desde sharepoint, onedrive y físicamente en mi máquina no hizo una diferencia tristemente. No es la extracción de datos lo que lo está causando, si extrae los datos sin procesamiento después de que toma un par de segundos. Pero tan pronto como quiero usar esos datos para búsquedas, etc. después de la extracción, va lento.
- Syndicate_Admin
Hay @daveedd
De acuerdo, el problema no es la carga de datos, sino las transformaciones. Puede ser que cualquier transformación que esté haciendo se devuelva a la fuente de datos (plegado de consultas).
¿Puede compartir su código de consulta?
Saludos
Phil
- Syndicate_Admin
Sí, definitivamente tiene que ver con el procesamiento después.
Este es el código utilizado para crear una columna personalizada. Busca los valores de una tabla de búsqueda en un campo denominado Descripción. El código funciona de manera eficiente cuando los datos se ingresan directamente, pero se ejecuta lentamente cuando se importa desde un origen de datos externo
let myvalue=[Descripción]
en
List.First(
Table.SelectRows(LookupTableName,
cada Text.Contains(myvalue,[Valor],Comparer.OrdinalIgnoreCase))[Valor])