Forum Discussion

Anonymous's avatar
Anonymous
Not applicable
2 years ago

Actualizacion Incremental tabla SQL Server

Muy buenas.

 

Estoy intentado realizar una actualización incremental conectándome a una tabla SQL Server. Esta tabla, actualmente tiene en torno a 11 millones de registros. El 90 % de estos registros son fijos y no susceptibles de ser modificados. Tengo un campo FECHA_ACTUALIZACION, que es el que utilizaré para realizar la actualización incremental. Este campo es el que muestra si ese registro ha sido o no modificado.

 

Las transformaciones realizadas a la tabla desde power query son mínimas.

Dejar

    Origen = Sql.Database("xxxxxx.xx.xxxxxxxxxx \xxxxxx,xxxx", "xxxxxxx_liquidaciones", [Query="SELECT * FROM JAP_OPV_HORAS_AGENTES", CommandTimeout=#duration(0, 2, 0, 0)]),

    #"Tipo cambiado" = Table.TransformColumnTypes(Origen,{{"FM", type date}}),

#"Filas filtradas" = Table.SelectRows(#"Tipo cambiado", cada [FECHA_ACTUALIZACION] > RangeStart y [FECHA_ACTUALIZACION] <= RangeEnd)

en

#"Filas filtradas"

Si realizo una carga completa de esta tabla en Power bi de escritorio tarda unos 30 minutos.

En cuanto a la configuración incremental es la siguiente:

Intervalos de Importación

 

Iniciado datos de Archivo  3 años  (1/1/2021 a 17/4/2024)

Iniciado actualización incremental de datos     5 días

Elegir configuración opcional

 

X Actualizar solo los completos días

X Detectar cambios de datos

Actualizar solo los datos del último peridodo : 5 días si el valor máximo de esta columna de datetime cambia (FECHA_ACTUALIZACION).

Una vez publicado el informe al actualizarlo, a las dos horas me muestra mensaje de error por exceso de tiempo en actualizar. Como comentaba, la actualización de toda la tabla en Power BI de escritorio es de 30 minutos.

Que estoy haciendo mal.?

Gracias por vuestra ayuda.

Saludos,

"Ayuda"

3 Replies

  • Anonymous's avatar
    Anonymous
    Not applicable
    2 years ago

    este es el error que he obtenido.

    Error del origen de datos: {"error":{"code":"DM_GWPipeline_Gateway_MashupDataAccessError","pbi.error":{"code":"DM_GWPipeline_Gateway_MashupDataAccessError","parameters":{},"details":[{"code":"DM_ErrorDetailNameCode_UnderlyingErrorCode","detail":{"type":1,"value":"-2147467259"}},{"code":"DM_ErrorDetailNameCode_UnderlyingErrorMessage","detail":{"type":1,"value":"El tiempo de espera ha expirado. El período de espera se ha agotado antes de completar la operación."}},{"code":"DM_ErrorDetailNameCode_UnderlyingHResult","detail":{"type":1,"value":"-2147467259"}},{"code":"Microsoft.Data.Mashup.HostingError.Reason","detail":{"type":1,"value":"Timeout"}}],"exceptionCulprit":1}}}

  • Anonymous's avatar
    Anonymous
    Not applicable
    2 years ago

    Hi Anonymous ,

    First, it is important to note that upgrade operations in the Power BI service may behave differently compared to Power BI Desktop due to several factors, including upgrade time limits and resource management in the Power BI service.

    Since you are using a field for incremental upgrade, here are some recommendations and steps to follow to optimize this process:

    Verify the Incremental Update Policy Settings: Make sure your incremental update policy settings are correctly defined in Power BI Desktop before publishing. The settings you mention seem correct, but it is crucial to make sure that the import and incremental update intervals are configured to optimize performance and avoid loading unnecessary data.

    Query Optimisation in Power Query: Although you mention that the transformations are minimal, it is essential to ensure that the SQL query used in Power Query is optimised for performance. Consider applying filters directly in the SQL query to limit the data that is initially extracted, rather than loading all records and then filtering them in Power Query.

    Best Regards,

    Xianda Tang

    If this post helps, then please consider Accept it as the solution to help the other members find it more quickly.

     

  • Anonymous's avatar
    Anonymous
    Not applicable
    2 years ago

    Pues es un poco extraño. Ese mismo conjunto de datos lo he publicado sin actualización incremental y lo he actualizado directamente en la nube y ha tardado 56 minutos en actualizar completamente los 11 millones de registros que tiene la tabla.
    Asi que supongo que el problema está en la actualización incremental.
    Este es el error que me arroja

    • Error del origen de datos{"error":{"code":"DM_GWPipeline_Gateway_MashupDataAccessError","pbi.error":{"code":"DM_GWPipeline_Gateway_MashupDataAccessError","parameters":{},"details":[{"code":"DM_ErrorDetailNameCode_UnderlyingErrorCode","detail":{"type":1,"value":"-2147467259"}},{"code":"DM_ErrorDetailNameCode_UnderlyingErrorMessage","detail":{"type":1,"value":"El tiempo de espera ha expirado. El período de espera se ha agotado antes de completar la operación."}},{"code":"DM_ErrorDetailNameCode_UnderlyingHResult","detail":{"type":1,"value":"-2147467259"}},{"code":"Microsoft.Data.Mashup.HostingError.Reason","detail":{"type":1,"value":"Timeout"}}],"exceptionCulprit":1}}}
    • URI de clústerWABI-NORTH-EUROPE-F-PRIMARY-redirect.analysis.windows.net
    • Identificador de actividad55b7afa0-4eac-4433-a77a-9caf7561d3b9
    • Identificador de la solicitud4a7a0ef1-9f57-0a09-0f33-eb0e84d5869b
    • Hora2024-04-23 11:26:02Z