Control de archivos JSON de gran tamaño en el escritorio de PowerBI

[Syndicate_Admin]

¡Hola! Estoy trabajando en un conector que carga un gran JSON de la API REST (alrededor de 3 GB con filas de 6kk) usando Web.Contents. Estoy usando PowerBI escritorio y he probado varios enfoques, p. ej.

- cargando el archivo de una vez (nunca termina, pasan las horas y se muestra como aún en proceso)

- cargando los archivos en trozos (carga un par de trozos, luego simplemente se cuelga y no continúa con el siguiente fragmento)

También intenté cargar un JSON guardado localmente usando una fuente de datos JSON nativa en PowerBI, pero la misma historia: pasan horas y al final recibo el error "Algo salió mal: la referencia al objeto no está establecida en una instancia de un objeto".

Si guardo los mismos datos no en JSON, sino como archivo de Excel, PowerBI lo carga rápidamente y sin ningún problema.

¿Hay alguna limitación en el tamaño de JSON que controla PowerBI o algo que pueda explicar este comportamiento?

[Syndicate_Admin]

Hola @syrius ,

El archivo de informe de Power BI Desktop no tiene una limitación en la cantidad de datos, este límite de tamaño debe estar más relacionado con el almacenamiento del disco duro y la memoria del sistema. (memoria del sistema utilizada para procesar y calcular fórmulas DAX en el informe)

En el caso de los datos de gran tamaño de la API de REST, se recomienda almacenar en un archivo local y crear un script por lotes o planear la sincronización automática con la base de datos de ubicaciones. (por ejemplo: SQL, MySQL, Excel, Access) Después de estos pasos, simplemente puede obtener datos de la base de datos sincronizada sin un gran tiempo de actualización/procesamiento.

Para el mensaje de error:

 "Something went wrong - Object reference not set to an instance of an object".

Este es un problema conocido, puede consultar Resuelto: Power BI - Microsoft Fabric Community y seguir los pasos que contiene para solucionar el problema.

Saludos

Lucy Chen

Si esta publicación ayuda, considere Acéptalo como la solución para ayudar a los demás miembros a encontrarlo más rápidamente.

[Syndicate_Admin]

Al igual que @hnguy71 no sé qué significa 6kk, pero 3 GB es un JSON / XML / / CSV bastante pesado. Espero que esté siguiendo un esquema de estrella al preparar sus datos para cargarlos en PBI porque si está tratando de transformar un conjunto de datos gigante en PowerQuery o DAX, las cosas pueden complicarse rápidamente. Como regla general, las tablas de hechos deben normalizarse y las tablas de dimensiones deben desnormalizarse. Por supuesto, hay excepciones a la regla y saber cuándo y por qué desviarse de ellas requiere experiencia y conocimientos en Modelado de Datos que van mucho más allá de lo que cualquiera puede comunicar en un foro. Pero si está correctamente armado, debería poder cargar una tabla de hechos con miles de millones de filas. Si PBI se está ahogando con millones, lamentablemente, la única solución es volver a la mesa de dibujo del Modelado de Datos.

[Syndicate_Admin]

Hola @syrius

¿6kk = 600.000 filas? Si es así, Power BI es definitivamente lo suficientemente potente como para manejar esa cantidad de datos. Un JSON, XML o CSV no tiene un límite de filas/datos (o no que yo sepa). ¿Está realizando alguna transformación además de la carga de datos?