Vue d'ensemble
Simplifiez et mettez en place des pipelines de données sécurisés à n'importe quelle échelle.
CDP Data Engineering est le seul service cloud-native conçu spécialement pour les équipes de data engineering. Basé sur Apache Spark, cet ensemble d'outils complet permet d'automatiser l'orchestration via Apache Airflow, de surveiller étroitement les pipelines, de visualiser les problèmes et de les résoudre, et de simplifier les processus ETL entre les différentes équipes d'analyse.
Grâce à l'intégration complète de Data Engineering avec Cloudera Data Platform, vous bénéficiez d'une visibilité et d'une sécurité de bout en bout avec SDX, mais aussi d'une intégration transparente avec les services de CDP tels que CDP Data Warehouse et CDP Machine Learning. Data Engineering vous permet de mettre en place des workflows d'ingénierie des données cohérents, répétables et automatisés sur une plateforme cloud hybride, où vous le souhaitez.
Cas d'utilisation de CDP Data Engineering
Automatiser les pipelines de données partout
Améliorer la visibilité et le contrôle des processus ETL
Préserver l'intégrité des données de bout en bout
Automatiser les pipelines de données partout
Transmettez des ensembles de données de qualité en toute sécurité à CDP Data Warehouse, à CDP Machine Learning ou à l'outil d'analyse de votre choix.
Data Engineering simplifie les pipelines de données pour les équipes d'analyse, du machine learning à l'entreposage de données et au-delà. Accélérez les délais de rentabilisation en orchestrant et en automatisant les pipelines afin de fournir des ensembles de données de qualité de manière sécurisée et transparente, où vous en avez besoin.
Améliorer la visibilité et le contrôle des processus ETL
Gérez le cycle de vie de vos données de manière globale et transparente.
La mise en œuvre de pipelines de données à l'échelle de l'entreprise complexifie la gestion du cycle de vie des données et le contrôle des coûts.
Pour cela, Data Engineering fournit aux entreprises les fonctions suivantes : planification de la capacité, automatisation des pipelines, dépannage et suivi automatique de la provenance des données.
Préserver l'intégrité des données de bout en bout
Visibilité totale des pipelines au service de la sécurité.
Avec l'augmentation de la quantité et de la complexité des données, dimensionner précisément et fidèlement les charges de travail analytiques au sein de l'entreprise peut se révéler difficile.
Data Engineering propose des fonctions natives de surveillance des pipelines de données et d'alerte afin de détecter les anomalies le plus tôt possible. Il permet en outre de visualiser les problèmes afin de pouvoir les résoudre avant qu'ils n'affectent vos activités.
Fonctionnalités clés de CDP Data Engineering
Répondez à vos besoins analytiques essentiels en orchestrant des workflows complexes dédiés à la transformation des données à l'aide d'Apache Airflow et de centaines d'opérateurs.
Data Engineering est un service conteneurisé, évolutif et portable qui propose des environnements de travail et des protections isolés. Vous disposez ainsi de ressources informatiques à la demande afin de gérer vos pipelines en toute sécurité et de respecter les SLA à moindre coût.
Consultez les indicateurs de performance, y compris l'utilisation du processeur, la mémoire et les E/S, à chaque étape de vos projets Spark. Repérez ainsi les points faibles et identifiez les problèmes les plus subtils.
Profitez d'une interface de gestion avancée basée sur une interface en ligne de commande et des API Rest. Automatisez et intégrez facilement les workflows existants, notamment les pipelines CI/CD et les outils tiers.
Data Engineering propose un service Spark entièrement intégré à Kubernetes qui automatise et simplifie la gestion des artefacts, la sécurité et l'ordonnancement des ressources – à noter que l'ordonnancement FIFO et GANG est assuré par Apache Yunikorn.
Les administrateurs de plateforme disposent d'une interface centralisée pour gérer les accès et la sécurité, puis attribuer rapidement de nouvelles tâches tout en contrôlant facilement la capacité et l'utilisation des ressources dans le temps. SDX permet également d'assurer le suivi des données tout au long de leur cycle de vie afin de connaître leur provenance et leur destination.
Vous souhaitez approfondir le sujet ?
Faites un essai de Data Engineering sur Cloudera Data Platform
