La arquitectura Medallion es un enfoque para administrar datos en un “lakehouse”. Utilizando tres capas: bronce, plata y oro.
- Bronce: se mantiene el estado original.
- Plata: se válida los datos.
- Oro: se realizan para análisis avanzados.
Medallion no reemplaza otras técnicas de modelado, sin embargo, permite crear conjuntos de datos validados para toda la empresa. Las actualizaciones se realizan en tablas de oro, mejora el rendimiento y la confiabilidad de los datos para análisis y aplicaciones.
Bronce:
La capa Bronce es donde se obtienen datos de sistemas fuente externos. Las tablas en esta capa reflejan las estructuras de las tablas originales, con metadatos adicionales como fecha/hora de carga. Se centra en capturar datos rápidamente y mantener un historial de la fuente, linaje, auditoría y la posibilidad de reprocesamiento sin volver a obtener los datos de la fuente.
Plata:
En la capa Plata del “lakehouse,” los datos de la capa Bronce se procesan para crear una vista empresarial clave. Permite análisis ad hoc y proyectos avanzados. Se utiliza la metodología ELT para priorizar la velocidad en la ingestión de datos. Las transformaciones complejas se aplican al cargar datos de Plata a Oro.
Oro:
La capa Dorada del “lakehouse” organiza datos para reportes, utiliza modelos de datos eficientes para lectura y aplica transformaciones finales y reglas de calidad. Es la capa final para análisis avanzados en proyectos específicos. Puede integrar Data Marts y EDW tradicionales para análisis en toda la empresa.
Ventajas:
- Modelo de datos simple.
- Fácil de entender e implementar.
- Permite ETL incremental.
- Facilita recrear sus tablas a partir de datos sin procesar en cualquier momento.
- Transacciones ACID, viaje en el tiempo.
Desventajas:
- No reemplaza las técnicas de modelado dimensional.
- Utiliza grandes cantidades de almacenamiento.
- A menudo requiere procesamiento posterior adicional.
- Implica una arquitectura de Data Lakehouse.
Otros temas de interés:
