Tengo una consulta de tipo de función llamada fxScript, que después de realizar varias modificaciones, finalmente como el último paso invoca la siguiente función Export2Csv que exporta la tabla como un archivo .csv:
(SOURCE as table, PATH as text) =>
let
Export = Python.Execute("# 'dataset' holds the input data for this script#(lf)import pandas#(lf)dataset = pandas.DataFrame(dataset)#(lf)dataset.to_csv(r'"&PATH&"', index=False)", [dataset=SOURCE])
in
Export
He utilizado la función con eficacia en 34 archivos de exactamente 100mb cada uno (alrededor de 2,3 millones de filas cada uno). Los archivos de .csv resultantes están entre 35-40 MB cada uno (aproximadamente 0,5 millones de filas cada uno).
Originalmente cada 1-2 minutos cada uno de los 34 archivos .csv terminaron de ser creados a través de la función fxScript. Esto fue hace 3 días.
Desde ayer estoy tratando de utilizar la misma función * en los mismos archivos de entrada *, pero cada archivo tarda entre 3 y 30 minutos (la mayoría suele tardar entre 10-15 minutos).
He verificado que el cuello de botella no está en ninguno de los primeros pasos de fxScript, que se ejecutan rápidamente, pero en el script python. En la parte inferior derecha de Power Bi aparece el mensaje "Esperando Python" durante mucho tiempo.
He intentado usar sólo las primeras filas de los archivos de entrada. Por ejemplo, con las primeras 200 líneas, el script se ejecuta relativamente rápido. Al aumentar las líneas, el tiempo de retardo también aumenta (al menos linealmente).
Leyendo este artículo he intentado eliminar la carpeta PythonScriptWrapper / s, pero no ha solucionado el problema.
Copiar y pegar mi archivo .pbix tampoco funcionó, es decir, crear un duplicado.
Dado que el script originalmente funcionó rápido y ahora no lo hace, sospecho que debe haber algún tipo de archivo temporal que ralencele el proceso.
¿Alguien que pueda pensar en lo que podría ser podría ayudarme?
