Uso de Parameter para definir si una tabla está cargada o no

[Anonymous]

Hola

Tengo un gran conjunto de datos que he fragmentado en flujos de datos separados de actual, archivo #1, archivo #2 y al desarrollar y probar sólo quiero cargar el flujo de datos actual

El código que tengo funciona-- PERO lee en los flujos de datos antes de no cargarlos correctamente en el modelo.

Obviamente, este tipo de derrota lo que estaba tratando de lograr, es decir, no leer y cargar los datos de archivo.

Al principio tenía los flujos de datos a los que se hace referencia directamente en la consulta de abajo (pero todavía se lee entonces en ....) ahora me he movido a crear consultas individuales para cargar cada flujo de datos y los he establecido en Habilitar carga - OFF y me ve referiendo estos en el código siguiente.

Mi código es el siguiente y referencia 2 parámetros

Load_Archive

Load_Archive2

let
    Source = PowerBI.Dataflows(null),
   
    // Load Current
    
    #"Current Data"  = #"DAT_Report - Ingest",
    // Load Archive


    //Decide if we need to keep Archive Data  (Used to reduce Dataset size for Desktop)
    #"Load_Archive 1" = if Load_Archive = true 
 
               then  Table.Combine({#"Current Data", #"DAT_Report - Ingest [Archive #1]"})
               else  #"Current Data", 
   
    // Load Archive 2


    //Decide if we need to keep Archive Data  (Used to reduce Dataset size for Desktop)
    #"Load_Archive 2" = if Load_Archive2 = true 
   
               then  Table.Combine({#"Load_Archive 1", #"Archive 2"})
               else  #"Load_Archive 1", 

    #"Standardise Dates" = Table.TransformColumnTypes(#"Load_Archive 2",{{"Report Date", type date}, {"TargetWeek", type date}, {"ServiceWeek", type date}}),
    #"Filtered Rows" = Table.SelectRows(#"Standardise Dates", each [Report Date] >= ReportStartLoadDate),
    #"Removed Columns" = Table.RemoveColumns(#"Filtered Rows",{"KEY_WSMT"})

in
        #"Removed Columns"

¿Alguna idea de lo que estoy haciendo mal?

[mahoneypat]

Su enfoque parece bueno, y yo habría adivinado que funcionaría. Como no lo hace, otra cosa que puede intentar es usar sus parámetros True/False para cambiar la salida de Load_Archive consultas. Podrías poner un if en el último paso de cada uno. Si es false, haga que devuelva null o un conjunto de datos ficticio muy pequeño que luego filtrará. La evaluación debe omitir la carga de los flujos de datos de archivado si no se cumple la condición (False). De esta manera, si no evita procesar las consultas de archivado, tendrá mucho menos trabajo que hacer primero (y no usar el flujo de datos).

Si esto funciona para usted, márquelo como la solución. Los elogios también son apreciados. Por favor, avísame si no.

saludos

palmadita

[Anonymous]

@mahoneypat Buena idea, pero en realidad es la misma solución que dijiste.

Pero lo conseguí para funcionar!!!

Estaba rematando otras consultas que aterrizaron los DataFlows en el modelo primero lo que hice se mueve estas consultas de aterrizaje en el código para estar dentro de la comprobación de condición en el código que compartí anteriormente y esto ahora funciona según lo previsto.

Salud...

[Anonymous]

@mahoneypat sí, eso suena otra forma de hacer esto.

Algo extraño, aunque he probado de nuevo esta mañana - no hay cambios justo lo que estaba corriendo ayer y funcionaba según lo previsto.

No tengo idea de lo que cambió, ya que estoy bastante seguro de que no cambié nada, pero ahora funciona.

Extraño

[lbendlin]

No estás haciendo nada malo per se, eso es más una pregunta si eso es un error en la ejecución perezosa o no.

Intente desactivar la carga paralela de fuentes, pero realmente no debería marcar la diferencia.

Lo que realmente quieres hacer es controlar eso en el origen. Por ejemplo, si Current, Archive1, Archive2 etc son archivos CSV en un recurso compartido de archivos, puede controlar fácilmente Table.Combine moviendo los archivos de archivo dentro y fuera de la carpeta de origen según sea necesario.

[Anonymous]

Hola, traté de desactivar la carga de parellel, pero no hay mejora.

Los conjuntos de datos son cientos de archivos csv, por lo que no puedo mover los archivos para probarlos.

Entonces, ¿es un error en el proceso de evaluación?

Salud

Andrew

[Anonymous]

Haciendo ping otra vez.

¿Alguien sabe cómo usar Parameter para definir si un flujo de datos se carga en el modelo o no.

Parece simple - Pero lo he probado de varias maneras y todavía ingiere todos los datos cuando se actualiza el modelo de escritorio en lugar de ignorar los que la lógica diría que no mirar.

¿Alguna idea?

[lbendlin]

"Los conjuntos de datos son cientos de archivos csv, así que no puedo mover los archivos para probarlos."

¿Por qué no?

[Anonymous]

Dos razones realmente,

1. El tamaño que acerca de un GB cada uno y nunca es una buena idea para meterse con los datos de origen
2. Tenemos otros modelos y usuarios que extraen estos datos por lo que en efecto descobándolos de línea para que podamos probar y dev modelos sería complicado y disruptivo.

[lbendlin]

1. El tamaño del archivo es irrelevante si el movimiento está dentro de la misma estructura de carpetas. Todo lo que haces es cambiar de puntero.

2. ¿Sería una opción para usted tener su propia copia de los datos de origen?