Forum Discussion
Carga JSON baja
Saludos grupo
Tengo una gran preocupación que no he podido resolver. Resulta que tengo un poco más de 20 GB de json. Necesito subirlos a Power BI para empezar a analizar su información. Lleva una cantidad absurda de tiempo, y al final sale un error.
Quiero saber qué plataforma me recomiendas para subir estos json, yo los tengo locales, pero también he probado con sharepoint. O qué recomendaciones me das para que esta carga no tarde casi 14 horas.
¿Es más rápido si particiono más, el json pesa en promedio 100 megabytes o aproximadamente 1 millón de filas?
No tengo los $ 9.99 para comprar la licencia y hacer un flujo en Power BI en línea y alimentar el panel desde allí
Estaré agradecido por tu ayuda
este es mi código con
let
Origen = SharePoint.Files("", [ApiVersion = 15]),
#"Filas filtradas" = Table.SelectRows(Origen, each Text.Contains([Folder Path], "Archivos Metabase")),
#"Filas filtradas 1" = Table.SelectRows(#"Filas filtradas", each [Folder Path] = "),
#"Otras columnas quitadas" = Table.SelectColumns(#"Filas filtradas 1",{"Content"}),
#"Personalizada agregada" = Table.AddColumn(#"Otras columnas quitadas", "Personalizado", each Json.Document([Content])),
#"Se expandió Personalizado" = Table.ExpandListColumn(#"Personalizada agregada", "Personalizado"),
#"Se expandió Personalizado1" = Table.ExpandRecordColumn(#"Se expandió Personalizado", "Personalizado", {"CodCliente", "Info3", "Status", "FechaMod", "Info6", "Info5", "Info1", "CodCampanna", "Info2", "Info4", "ContadorLlamadas", "Telefono3", "Telefono1", "NombreCliente"}, {"CodCliente", "Info3", "Status", "FechaMod", "Info6", "Info5", "Info1", "CodCampanna", "Info2", "Info4", "ContadorLlamadas", "Telefono3", "Telefono1", "NombreCliente"}),
#"Columnas quitadas" = Table.RemoveColumns(#"Se expandió Personalizado1",{"Content"}),
#"Dividir columna por delimitador" = Table.SplitColumn(#"Columnas quitadas", "FechaMod", Splitter.SplitTextByDelimiter("T", QuoteStyle.Csv), {"Fecha", "Hora"}),
#"Tipo cambiado" = Table.TransformColumnTypes(#"Dividir columna por delimitador",{{"Fecha", type date}}),
#"Valor reemplazado" = Table.ReplaceValue(#"Tipo cambiado","Z","",Replacer.ReplaceText,{"Hora"}),
#"Tipo cambiado1" = Table.TransformColumnTypes(#"Valor reemplazado",{{"Hora", type time}}),
#"Columnas con nombre cambiado" = Table.RenameColumns(#"Tipo cambiado1",{{"CodCampanna", "cod_campanna"}, {"CodCliente", "cod_cliente"}, {"Telefono1", "telefono"}, {"Fecha", "fecha_llamada"}, {"Hora", "hora_llamada"}, {"Info1", "resultado_info1"}, {"Info2", "resultado_info2"}, {"Info3", "resultado_info3"}, {"Info4", "resultado_info4"}, {"Info5", "resultado_info5"}, {"Info6", "resultado_info6"}, {"Status", "status"}, {"NombreCliente", "nombre_cliente"}})
in
#"Columnas con nombre cambiado"
1 Reply
- Syndicate_AdminAdministrator
Debe colocar los datos en una base de datos o lago de datos y acceder a ellos desde allí. Si su organización no quiere gastar $9.99 para hacer cosas con sus datos, entonces eso será un problema. Si estás haciendo esto por diversión personal, ponlo en una base de datos local o algo así y conéctate a él allí.