Vue d'ensemble
Simplifiez et mettez en place des pipelines de données sécurisés à n'importe quelle échelle.
Cloudera Data Engineering est le seul service cloud-native conçu spécialement pour les équipes de data engineering. Basé sur Apache Spark, cet ensemble d'outils complet permet d'automatiser l'orchestration via Apache Airflow, de surveiller étroitement les pipelines, de visualiser les problèmes et de les résoudre, et de simplifier les processus ETL entre les différentes équipes d'analyse.
Grâce à l'intégration complète de Data Engineering avec Cloudera, vous bénéficiez d'une visibilité et d'une sécurité de bout en bout avec SDX, mais aussi d'une intégration transparente avec les services de données tels que Cloudera Data Warehouse et Cloudera Machine Learning. Data Engineering vous permet de mettre en place des workflows d'ingénierie des données cohérents, répétables et automatisés sur une plateforme de cloud hybride, où vous le souhaitez.
Cas d'utilisation de Cloudera Data Engineering
Automatiser les pipelines de données partout
Améliorer la visibilité et le contrôle des processus ETL
Préserver l'intégrité des données de bout en bout
Automatiser les pipelines de données partout
Transmettez des ensembles de données de qualité en toute sécurité à Cloudera Data Warehouse, à Cloudera Machine Learning ou à l'outil d'analyse de votre choix.
Data Engineering simplifie les pipelines de données pour les équipes d'analyse, du machine learning à l'entreposage de données et au-delà. Accélérez les délais de rentabilisation en orchestrant et en automatisant les pipelines afin de fournir des ensembles de données de qualité de manière sécurisée et transparente, où vous en avez besoin.
Améliorer la visibilité et le contrôle des processus ETL
Gérez le cycle de vie de vos données de manière globale et transparente.
La mise en œuvre de pipelines de données à l'échelle de l'entreprise complexifie la gestion du cycle de vie des données et le contrôle des coûts.
Pour cela, Data Engineering fournit aux entreprises les fonctions suivantes : planification de la capacité, automatisation des pipelines, dépannage et suivi automatique de la provenance des données.
Préserver l'intégrité des données de bout en bout
Visibilité totale des pipelines au service de la sécurité.
Avec l'augmentation de la quantité et de la complexité des données, dimensionner précisément et fidèlement les charges de travail analytiques au sein de l'entreprise peut se révéler difficile.
Data Engineering propose des fonctions natives de surveillance des pipelines de données et d'alerte afin de détecter les anomalies le plus tôt possible. Il permet en outre de visualiser les problèmes afin de pouvoir les résoudre avant qu'ils n'affectent vos activités.
Principales fonctionnalités de Cloudera Data Engineering
Répondez à vos besoins analytiques essentiels en orchestrant des workflows complexes dédiés à la transformation des données à l'aide d'Apache Airflow et de centaines d'opérateurs.
Data Engineering est un service conteneurisé, évolutif et portable qui propose des environnements de travail et des protections isolés. Vous disposez ainsi de ressources informatiques à la demande afin de gérer vos pipelines en toute sécurité et de respecter les SLA à moindre coût.
Consultez les indicateurs de performance, y compris l'utilisation du processeur, la mémoire et les E/S, à chaque étape de vos projets Spark. Repérez ainsi les points faibles et identifiez les problèmes les plus subtils.
Profitez d'une interface de gestion avancée basée sur une interface en ligne de commande et des API Rest. Automatisez et intégrez facilement les workflows existants, notamment les pipelines CI/CD et les outils tiers.
Data Engineering propose un service Spark entièrement intégré à Kubernetes qui automatise et simplifie la gestion des artefacts, la sécurité et l'ordonnancement des ressources – à noter que l'ordonnancement FIFO et GANG est assuré par Apache Yunikorn.
Les administrateurs de plateforme disposent d'une interface centralisée pour gérer les accès et la sécurité, puis attribuer rapidement de nouvelles tâches tout en contrôlant facilement la capacité et l'utilisation des ressources dans le temps. SDX permet également d'assurer le suivi des données tout au long de leur cycle de vie afin de connaître leur provenance et leur destination.
Vous souhaitez approfondir le sujet ?
Faites un essai de Cloudera Data Engineering
Formation, assistance et services haut de gamme
Vous êtes prêt(e) à vous lancer ?