Skip to main content
cancel
Showing results for 
Search instead for 
Did you mean: 

Earn the coveted Fabric Analytics Engineer certification. 100% off your exam for a limited time only!

Reply
Syndicate_Admin
Administrator
Administrator

No se puede importar un conjunto de datos grande en el escritorio y el servicio con conexión ODBC

Hola comunidad,
Me enfrento a un problema. Tengo un conjunto de datos de aproximadamente 200 + M filas, que crece en millones de filas diarias, y no puedo importar los datos en Desktop para crear un conjunto de datos allí, o en Service para crear un Dataflow o Datamart.

Estoy utilizando una conexión ODBC a una base de datos de Amazon Redshift.

En el escritorio, los datos nunca se cargan o, al intentar transformar los datos, la evaluación nunca termina en Power Query. Lo mismo en Service, cuando se intenta crear un Dataflow o Datamart, la evaluación se cancela en Power Query al alcanzar el límite de 10 minutos. Luego, cuando hago clic en guardar, obtengo un error de "Error de evaluación de PQO".

¿Hay alguna sugerencia sobre cómo tratar este problema?

1 ACCEPTED SOLUTION
Syndicate_Admin
Administrator
Administrator

He creado un archivo pbix filtrado que solo tiene una instantánea de los datos. Configure la actualización incremental en él. Publicado y actualizado. Eso creó las particiones.
A continuación, debe usar herramientas externas como SQL Management Studio y XML Toolkit para quitar el filtrado y actualizar las particiones.
Mira este video:
https://youtu.be/5AWt6ijJG94

Otra forma es crear un parámetro para filtrar los datos y cambiarlos o quitarlos de la configuración del conjunto de datos en el servicio Power BI.

View solution in original post

8 REPLIES 8
Syndicate_Admin
Administrator
Administrator

Si crea un parámetro de fecha en Power Query y filtra los datos según él, cuando se publique el informe podrá ver el parámetro aquí y cambiar su valor:

gp10_0-1685622012589.png

Syndicate_Admin
Administrator
Administrator

¿Puede explicar esto en detalle, por favor?

Otra forma es crear un parámetro para filtrar los datos y cambiarlos o quitarlos de la configuración del conjunto de datos en el servicio Power BI.

¿Desde dónde quitar el filtro en el servicio Power BI?

Syndicate_Admin
Administrator
Administrator

Gracias por su respuesta. Utilizamos la licencia profesional, por lo tanto, esto no funcionará en nuestro caso.

De todos modos, gracias por su pronta respuesta.

Syndicate_Admin
Administrator
Administrator

He creado un archivo pbix filtrado que solo tiene una instantánea de los datos. Configure la actualización incremental en él. Publicado y actualizado. Eso creó las particiones.
A continuación, debe usar herramientas externas como SQL Management Studio y XML Toolkit para quitar el filtrado y actualizar las particiones.
Mira este video:
https://youtu.be/5AWt6ijJG94

Otra forma es crear un parámetro para filtrar los datos y cambiarlos o quitarlos de la configuración del conjunto de datos en el servicio Power BI.

Syndicate_Admin
Administrator
Administrator

Hola, ¿encontró la solución a este problema, también me enfrento al mismo problema al importar grandes conjuntos de datos en Power BI en el nivel inicial?

Por favor, hágame saber sus hallazgos.

Syndicate_Admin
Administrator
Administrator

¿Alguna idea sobre cómo importar un conjunto de datos grande con una conexión ODBC?

Syndicate_Admin
Administrator
Administrator

Hay varias estrategias que puede intentar para tratar con grandes conjuntos de datos en Power BI:

  1. Utilice una conexión de consulta directa en lugar de importar los datos. Las conexiones de consulta directa permiten consultar los datos directamente desde la base de datos, en lugar de importarlos a Power BI. Esto puede ser más eficaz cuando se trabaja con conjuntos de datos grandes, ya que reduce la cantidad de datos que deben transferirse y almacenarse en Power BI. Sin embargo, también puede ser más lento, ya que las consultas se ejecutan en tiempo real y pueden requerir más recursos de la base de datos.

  2. Utilice el muestreo de datos para reducir la cantidad de datos que se importan o consultan. El muestreo de datos permite seleccionar un subconjunto aleatorio de los datos que desea importar o consultar, en lugar de todo el conjunto de datos. Esto puede ser útil para probar y crear prototipos, ya que le permite trabajar con un conjunto de datos más pequeño y más manejable.

  3. Utilice la actualización incremental para actualizar solo las filas nuevas o modificadas del conjunto de datos. La actualización incremental le permite configurar una programación para actualizar solo las filas que se han agregado o modificado desde la última actualización, en lugar de todo el conjunto de datos. Esto puede ser más eficaz cuando se trabaja con conjuntos de datos grandes que crecen con el tiempo, ya que reduce la cantidad de datos que deben procesarse y almacenarse en Power BI.

  4. Utilice técnicas de modelado de datos para optimizar los datos para consultas y análisis. Las técnicas de modelado de datos, como la indización, la partición y los índices de almacén de columnas, pueden ayudar a mejorar el rendimiento de las consultas en conjuntos de datos grandes al optimizar la forma en que se almacenan y se accede a los datos.

Gracias por tu tiempo @DataSlayer , he probado todos los pasos que mencionas y esto no es lo que necesito.
1. La consulta directa no es una opción para ODBC.
2, 3,4. No es mi problema, quiero importar y cargar todos mis datos. La actualización incremental viene después de eso.

Helpful resources

Announcements
April AMA free

Microsoft Fabric AMA Livestream

Join us Tuesday, April 09, 9:00 – 10:00 AM PST for a live, expert-led Q&A session on all things Microsoft Fabric!

March Fabric Community Update

Fabric Community Update - March 2024

Find out what's new and trending in the Fabric Community.

Top Solution Authors