Google Cloud Data Fusion
Cloud Data Fusion es un servicio gestionado ofrecido por Google Cloud Platform para el procesado e integración de datos. Es la versión gestionada de Google de la plataforma open source CDAP.
Permite crear y gestionar procesos de ingesta de datos de múltiples fuentes con un editor visual, además de proporcionar metadatos de forma casi automática.
Partes fundamentales
1. Pipelines: El desarrollo de pipelines en Data Fusion se hace con una interfaz gráfica, uniendo componentes (cajas) de diversos tipos, de modo que, en principio, no sean necesarios conocimientos de programación para crear procesos de ingesta e integración de datos
2. Wrangler: La herramienta de Wrangler permite hacer transformaciones sobre los datos. Operaciones como cambiar ficheros de tipos comunes, cambiar el tipo de dato de una columna, filtrar datos o combinar columnas.
-
También, se puede añadir una columna con la fecha actual, hacer cálculos con fechas o rellenar una columna según expresiones lógicas que involucren a otras columnas.
3. Automatizando el Metadato: Existe la posibilidad de explorar el linaje del dato según metadatos de forma semiautomática.
-
Esta capacidad permite agregar metadatos según las etiquetas de referencia que se hayan usado en los pipelines.
Características principales
- Integración completamente administrada de datos nativos de la nube a cualquier escala.
- Interfaz visual interactiva que permite la implementación sin código de las canalizaciones de ETL/ELT.
- Amplia biblioteca con más de 150 conectores y transformaciones preconfigurados sin costo adicional.
- Linaje de datos de extremo a extremo para analizar el impacto y la causa raíz.
- Compilada con un núcleo de código abierto (CDAP) para lograr la portabilidad de la canalización.
Funciones
- Autoservicio sin código
- Ingeniería de datos colaborativa
- Nativa de Google Cloud
- Integración de datos en tiempo real
- Integración por lotes
- Seguridad de nivel empresarial
- Linaje y metadatos de integración
- Operaciones sin interrupciones
- Kit completo de herramientas de integración
- Habilitación híbrida
Comparación de Google Productos
Casos de uso
Data lakes más seguros y modernos en Google Cloud
Cloud Data Fusion ayuda a los usuarios a compilar data lakes distribuidos y escalables en Google Cloud mediante la integración de datos desde plataformas locales aisladas. Los clientes pueden aprovechar el escalamiento de la nube para centralizar los datos y, como resultado, obtener un mayor valor de ellos.
Las capacidades de autoservicio de Cloud Data Fusion aumentan la visibilidad del proceso y reducen el costo general de la asistencia operativa.
Almacenes de datos ágiles con BigQuery
Cloud Data Fusion puede ayudar a las organizaciones a comprender mejor a sus clientes mediante el desglose de los sistemas de datos aislados y la habilitación del desarrollo de soluciones de almacén de datos ágiles y basadas en la nube en BigQuery.
Una vista confiable y unificada de la interacción con los clientes y su comportamiento permite mejorar la interacción, lo que conduce a una mayor retención y a mayores ingresos por cliente.
Entorno de estadísticas unificado
Hoy en día, muchos usuarios desean establecer un entorno de estadísticas unificado en una gran cantidad de costosos data marts locales. El uso de una amplia gama de herramientas desconectadas y medidas provisionales genera desafíos de calidad y seguridad de datos.
La amplia variedad de conectores, interfaces visuales y abstracciones centradas en la lógica empresarial de Cloud Data Fusion ayudan a reducir el TCO, a promocionar el autoservicio y la estandarización, y a reducir el trabajo repetitivo.
Beneficios
- Evita cuellos de botella técnicos y aumenta la productividad: La interfaz intuitiva de Data Fusion en la que se puede arrastrar y soltar, los conectores integrados y el modelo de autoservicio de integración de datos sin código quitan los cuellos de botella técnicos basados en la experiencia y aceleran las estadísticas.
- Disminuye el costo total de propiedad de la canalización: Un enfoque sin servidores que aprovecha la escalabilidad y confianza de los servicios de Google como Dataproc significa que Data Fusion ofrece la mejor capacidad de integración con un menor costo total de propiedad.
- Compila con una base de administración de datos: Con funciones integradas como el linaje de datos de extremo a extremo, la integración de metadatos y los servicios de protección de datos y seguridad nativos de la nube, Data Fusion asiste a los equipos con el cumplimiento y el análisis del impacto o los problemas raíz.