Flujos de trabajo

Dataflow Gen2 vs notebooks Fabric: elija el carril ETL antes de que el lago se llene

Por Adrien Yvin ·

fabricdataflowsparketllakehouse

Los equipos llegan a Fabric y clonan la misma carga tres veces: Dataflow Gen2, notebook Spark y copy activity. Las ventanas de refresh se pisan.

Asignación por defecto

Cargas Power Query ligeras → Dataflow Gen2. Joins pesados, SCD2, Python → notebook. Orquestación → pipeline (director, no transformador).

Dataflow Gen2

Salida a tabla de lakehouse certificable. Fast copy si el origen lo permite. Un dataflow por dominio acotado. Parámetros de entorno.

Un muro de M custom = ya quería un notebook.

Notebooks

Un notebook = un job. Delta a Silver/Gold con claves de merge. Controles de row count que el pipeline pueda fallar. Git + review.

Pipeline

  1. Dispara dataflow o notebook, no ambos sobre la misma tabla
  2. Éxito → refresh del modelo semántico
  3. Fallo → owner nombrado, no una DL de 40

Inventarie tablas. Dos ítems que escriben silver_customer: un ganador, un perdedor, este sprint.

¿RACI ingest vs modelo? Reserve una llamada de 30 minutos.