Forum Discussion
Databricks muy lento
Hola a todos,
Recientemente obtuve acceso a un clúster de Databricks. En PBI Desktop, uso el tipo de conexión Azure Databricks para acceder a estos datos.
¿Es posible que Databricks no esté pensado principalmente para importar tablas grandes? ¿Pero más bien está pensado para trabajar a través de Direct Query? En comparación con Oracle, ODBC o Impala, Databricks es realmente muy lento aquí.
¿Alguien sabe cuál podría ser la razón de esto?
¿Sería útil tener acceso al clúster de Databricks a través de ODBC?
Con una puerta de enlace empresarial y un flujo de datos correspondiente, la actualización es más rápida que en PBI Desktop.
3 Replies
La respuesta es como siempre: depende. No es ningún secreto que la mejor y más rápida fuente de datos para PBI es una base de datos relacional. Pero la velocidad depende de muchos factores. Uno de ellos es el rendimiento de la red y la calidad del controlador. No tengo ninguna experiencia con Databricks como la fuente para PBI, así que realmente no puedo comentar sobre esto más de lo que tengo. Solo puedo agregar que obtener datos de un archivo csv simple es mucho más rápido que de otras fuentes de datos (menos la base de datos relacional mencionada). También podría ser más rápido obtener datos de un archivo de parquet si los datos son BIG.
No @joshua1990
Tal vez pueda tener acceso al clúster de Databricks a través de ODBC.
Consulte:
https://mauridb.medium.com/powerbi-and-azure-databricks-193e3dc567a
Si todavía tienes alguna pregunta, por favor no dudes en hacérmelo saber.
Saludos
Enlace
¿Es esa la respuesta que estás buscando? Si este post ayuda, entonces por favor considere Aceptarlo como la solución. Realmente apreciar!
Lo uso en mi empresa.
En los últimos días, es mucho más inestable. A veces corre, a veces no.
Algunas consultas que solían ejecutarse en 10 minutos ahora se ejecutan en 3 horas (cuando se completa...).
