Databricks muy lento

[Syndicate_Admin]

Hola a todos,

Recientemente obtuve acceso a un clúster de Databricks. En PBI Desktop, uso el tipo de conexión Azure Databricks para acceder a estos datos.
¿Es posible que Databricks no esté pensado principalmente para importar tablas grandes? ¿Pero más bien está pensado para trabajar a través de Direct Query? En comparación con Oracle, ODBC o Impala, Databricks es realmente muy lento aquí.

¿Alguien sabe cuál podría ser la razón de esto?

¿Sería útil tener acceso al clúster de Databricks a través de ODBC?

Con una puerta de enlace empresarial y un flujo de datos correspondiente, la actualización es más rápida que en PBI Desktop.

[Syndicate_Admin]

No @joshua1990

Tal vez pueda tener acceso al clúster de Databricks a través de ODBC.

Consulte:

https://mauridb.medium.com/powerbi-and-azure-databricks-193e3dc567a

Si todavía tienes alguna pregunta, por favor no dudes en hacérmelo saber.

Saludos

Enlace

¿Es esa la respuesta que estás buscando? Si este post ayuda, entonces por favor considere Aceptarlo como la solución. Realmente apreciar!

[Syndicate_Admin]

La respuesta es como siempre: depende. No es ningún secreto que la mejor y más rápida fuente de datos para PBI es una base de datos relacional. Pero la velocidad depende de muchos factores. Uno de ellos es el rendimiento de la red y la calidad del controlador. No tengo ninguna experiencia con Databricks como la fuente para PBI, así que realmente no puedo comentar sobre esto más de lo que tengo. Solo puedo agregar que obtener datos de un archivo csv simple es mucho más rápido que de otras fuentes de datos (menos la base de datos relacional mencionada). También podría ser más rápido obtener datos de un archivo de parquet si los datos son BIG.