1. Carga Completa de Instantáneas (Full Snapshot Load)
Descripción:
Consiste en copiar todos los datos cada vez, como si tomaras una foto completa de la fuente.
Cómo se Implementa:
Copias y restauraciones completas de bases de datos.
Herramientas ETL como Apache NiFi.
Desafío:
- Alto consumo de recursos y tiempos largos de procesamiento.
Cuándo Usarlo:
Cuando la simplicidad es más importante que la eficiencia.
2. Carga Incremental (Incremental Load)
Descripción:
Solo carga los datos que han cambiado desde la última vez. Utiliza marcas de tiempo o números de versión para identificar los cambios y evitar duplicados.
Cómo se Implementa:
Change Data Capture (CDC) para detectar cambios.
Herramientas como SQL Server Change Data Capture (CDC), Debezium.
Guardar los cambios procesados en tablas, Redis o almacenes de estado.
Desafío:
- Manejar errores y asegurar que los datos no se dupliquen (idempotencia).
Cuándo Usarlo:
Cuando buscas eficiencia y no necesitas guardar el historial completo.
3. Carga Delta (Delta Load)
Descripción:
Mantiene un registro completo de los cambios: qué cambió, cómo y por qué. Es como llevar un historial detallado de los datos.
Cómo se Implementa:
- Event Sourcing:
- Usa buses de mensajes como Azure Event Hubs o Kafka..
- Almacena los eventos en un registro especializado.
- Un agregador de estado mantiene el estado actual para consultas rápidas.
- Bases de Datos Temporales:
- Ejemplos: Datomic, tablas temporales en PostgreSQL.
- Permiten consultas tipo “viaje en el tiempo” para ver el historial.
- Seguimiento Delta Personalizado:
- Crear un sistema propio de versiones y registro de cambios.
Desafío:
- Es más complejo de implementar y gestionar.
Cuándo Usarlo:
Cuando necesitas entender todo el contexto y la historia de los cambios.
4. Actualizaciones en Tiempo Real (Real-time Updates)
Descripción:
Procesa los datos al momento, sin esperar a que se acumulen. Ideal para sistemas que necesitan respuestas inmediatas.
Cómo se Implementa:
Kafka para transmitir eventos de manera confiable.
Procesadores como Azure Stream Analytics y Kafka Streams para transformar datos en el acto.
Los consumidores pueden leer directamente de los flujos según lo necesiten.
Desafío:
- Mantener la latencia baja y asegurar la consistencia de los datos.
Cuándo Usarlo:
Cuando necesitas procesar eventos inmediatamente, como en plataformas financieras o monitoreo en tiempo real.
5. Carga por Particiones (Partitioned Load)
Descripción:
Divide los datos en partes más pequeñas (particiones) para procesarlas en paralelo, acelerando la carga.
Cómo se Implementa:
Dividir los datos por rangos, fechas o IDs.
Procesamiento paralelo usando herramientas ETL y clústeres.
Desafío:
- Mantener la coherencia y evitar duplicados entre particiones.
Cuándo Usarlo:
Cuando manejan grandes volúmenes de datos y necesitas velocidad.
6. Carga Basada en Eventos (Event-driven Load)
Descripción:
Los datos se cargan como respuesta a eventos específicos, en lugar de programaciones fijas. Es flexible y se adapta a sistemas dinámicos.
Cómo se Implementa:
Usar sistemas como Azure Event Hubs o Apache Kafka.
Microservicios que responden a los eventos en tiempo real.
Desafío:
- Manejar muchos eventos simultáneos sin perder información.
Cuándo Usarlo:
Cuando necesitas flexibilidad para manejar cambios constantes en los datos.
Resumen Rápido: ¿Qué Patrón Usar?
- Si buscas simplicidad: Carga Completa.
- Para eficiencia sin historial: Carga Incremental.
- Para guardar todo el historial: Carga Delta.
- Para respuestas inmediatas: Tiempo Real.
- Para grandes volúmenes: Carga por Particiones.
- Para sistemas dinámicos: Carga Basada en Eventos.
