Forum Discussion
Dataframes affected by changes to their source!?
- 4 months ago
Hola EricCicconetti ,
Los DataFrames no son tablas temporales ni copias de datos, sino una definición lógica de cómo recuperarlos.
Esto significa que se ejecutan en tiempo de ejecución y siempre reflejan el estado actual de la fuente. Por eso, si modificas la tabla base antes de usar otro DataFrame dependiente, el resultado puede cambiar o incluso quedar vacío, exactamente lo que experimentaste.
Se utilizan principalmente como motor de transformación de datos para:- filtrar, unir y agregar datos;
- crear canalizaciones ETL/ELT;
- preparar datos para análisis.
Dentro de la arquitectura Medallion:
- Bronce: ingesta de datos sin procesar
- Plata: transformación y limpieza;
- Oro: conjuntos de datos listos para el negocio.
Si no estás trabajando con este enfoque, vale la pena revisarlo, ya que ayuda a estructurar el uso de DataFrames correctamente y evitar situaciones como esta.
Si mi comentario te ayudó a resolver tu pregunta, te agradecería mucho que lo marcaras como la solución aceptada. Esto ayuda a otros con el mismo problema y también me motiva a seguir contribuyendo. Muchas gracias. Lo aprecio mucho.
Hola EricCicconetti ,
Los DataFrames no son tablas temporales ni copias de datos, sino una definición lógica de cómo recuperarlos.
Esto significa que se ejecutan en tiempo de ejecución y siempre reflejan el estado actual de la fuente. Por eso, si modificas la tabla base antes de usar otro DataFrame dependiente, el resultado puede cambiar o incluso quedar vacío, exactamente lo que experimentaste.
Se utilizan principalmente como motor de transformación de datos para:
- filtrar, unir y agregar datos;
- crear canalizaciones ETL/ELT;
- preparar datos para análisis.
Dentro de la arquitectura Medallion:
- Bronce: ingesta de datos sin procesar
- Plata: transformación y limpieza;
- Oro: conjuntos de datos listos para el negocio.
Si no estás trabajando con este enfoque, vale la pena revisarlo, ya que ayuda a estructurar el uso de DataFrames correctamente y evitar situaciones como esta.
Si mi comentario te ayudó a resolver tu pregunta, te agradecería mucho que lo marcaras como la solución aceptada. Esto ayuda a otros con el mismo problema y también me motiva a seguir contribuyendo. Muchas gracias. Lo aprecio mucho.