Queridos
He encontrado un problema en el que el escritorio de PowerBI se ejecuta en Error de memoria en la etapa de Power Query porque contiene muchas tablas duplicadas que contienen todos los datos de mi encuesta. Estoy buscando un diseño más eficiente, sin embargo, estoy al final de mi ingenio aquí. Agradecería alguna pista, idea, o tal vez no es posible en absoluto?
Entonces, sobre mis datos.
Tengo datos de encuestas para, actualmente, 6 años. Cada año tiene ~ 3000 encuestados. Para cada encuestado tengo alrededor de 500 preguntas. Debido a cómo se representan las preguntas, en el formato de datos largos, los datos de un año contienen ~ 14 millones de filas. Así que durante 6 años, es ~ 84 millones de filas. La mayor proporción de estos datos y todas las etiquetas, todos los años combinados es de 200 MB en formato csv usando compresión gzip, pero esto es solo para el contexto, actualmente no veo un problema con eso.
Acerca de mi caso de uso.
Estoy construyendo un panel similar a una aplicación donde el usuario puede interactuar con todos estos datos. El requisito problemático –para el que pido ayuda– es que el usuario pueda seleccionar muestras de encuestados. Entonces, por ejemplo, el usuario debería poder seleccionar la muestra del encuestado en función de Category1_Question2_Answer5, Y, por ejemplo, Category2_Question1_Answer5. Para esta muestra de encuestado (a diferencia de la dimensión), el usuario puede ver qué proporción respondió Respuesta5 O Respuesta4 para Category1_QuestionX (incluida la Pregunta 2 (en este caso, la proporción es del 100%)), Category2_QuestionX (incluida la Pregunta 1 (en este caso, también la proporción es 100%)) y cualquier CategoryX_QuestionX arbitrario.
Acerca de mi solución actual.
Tengo un esquema de estrella. Solo con tablas de datos. Esto crea el error de memoria porque cada tabla es muy grande. ¿Hay algún diseño mejor posible? ¿Existe una combinación de diseño de modelo y medida que me permita usar solo una o dos tablas de datos y algunas tablas de dimensiones?
Acerca del ejemplo en el enlace.
He introducido datos ficticios y he recreado mis ejemplos de modelo, visuales y de medida de una manera que refleja mi situación actual con la selección de muestras. Hay algunos comentarios más en el archivo.
https://we.tl/t-M9Dxv5KVZN
