AnalysisException: Path no existe:

[Syndicate_Admin]

Hola

Estoy haciendo este ejercicio:

https://microsoftlearning.github.io/mslearn-fabric/Instructions/Labs/04-ingest-pipeline.html

Cuando creo un bloc de notas, el código siguiente muestra un mensaje de error:

from pyspark.sql.functions import *

# Read the new sales data
df = spark.read.format("csv").option("header","true").load("Files/new_data/*.csv")

## Add month and year columns
df = df.withColumn("Year", year(col("OrderDate"))).withColumn("Month", month(col("OrderDate")))

# Derive FirstName and LastName columns
df = df.withColumn("FirstName", split(col("CustomerName"), " ").getItem(0)).withColumn("LastName", split(col("CustomerName"), " ").getItem(1))

# Filter and reorder columns
df = df["SalesOrderNumber", "SalesOrderLineNumber", "OrderDate", "Year", "Month", "FirstName", "LastName", "EmailAddress", "Item", "Quantity", "UnitPrice", "TaxAmount"]

# Load the data into a table
df.write.format("delta").mode("append").saveAsTable(table_name)

AnalysisException: La ruta no existe: abfss://84d5de85-0a8e-490b-8585-bd3cb3542a51@onelake.dfs.fabric.microsoft.com/0fc55ae4-9a3c-40e3-9ae6-0a3155cc452e/Files/new_data/*.csv

¿Puedes ayudarme con esto, por favor?

Gracias

Naveen

[Paula00]

Este aviso es por la salida, osea no especificaste el destino de los datos, para este caso el Lakehouse que ya tienes.