Your browser is out of date

Update your browser to view this website correctly. Update my browser now

×

Essayez dès aujourd'hui le cloud public de Cloudera Data Platform.

Vue d'ensemble

Simplifiez et mettez en place des pipelines de données sécurisés à n'importe quelle échelle.

CDP Data Engineering est le seul service cloud-native conçu spécialement pour les équipes de data engineering. Basé sur Apache Spark, cet ensemble d'outils complet permet d'automatiser l'orchestration via Apache Airflow, de surveiller étroitement les pipelines, de visualiser les problèmes et de les résoudre, et de simplifier les processus ETL entre les différentes équipes d'analyse.

Grâce à l'intégration complète de Data Engineering avec Cloudera Data Platform, vous bénéficiez d'une visibilité et d'une sécurité de bout en bout avec SDX, mais aussi d'une intégration transparente avec les services de CDP tels que Data Warehouse et Machine Learning. Data Engineering vous permet de mettre en place des workflows d'ingénierie des données cohérents, répétables et automatisés sur une plateforme cloud hybride, où vous le souhaitez.

Cas d'utilisation

  • Automatiser les pipelines de données partout
  • Améliorer la visibilité et le contrôle des processus ETL
  • Préserver l'intégrité des données de bout en bout

Automatiser les pipelines de données partout


Transmettez des ensembles de données de qualité en toute sécurité à CDP Data Warehouse, à CDP Machine Learning ou à l'outil d'analyse de votre choix.

Data Engineering simplifie les pipelines de données pour les équipes d'analyse, du machine learning à l'entreposage de données et au-delà. Accélérez les délais de rentabilisation en orchestrant et en automatisant les pipelines afin de fournir des ensembles de données de qualité de manière sécurisée et transparente, où vous en avez besoin.

En savoir plus

Améliorer la visibilité et le contrôle des processus ETL


Gérez le cycle de vie de vos données de manière globale et transparente.

La mise en œuvre de pipelines de données à l'échelle de l'entreprise complexifie la gestion du cycle de vie des données et le contrôle des coûts.

Pour cela, Data Engineering fournit aux entreprises les fonctions suivantes : planification de la capacité, automatisation des pipelines, dépannage et suivi automatique de la provenance des données.

Lien vers le billet de blog

Image abstraite suggérant visibilité et contrôle

Préserver l'intégrité des données de bout en bout


Visibilité totale des pipelines au service de la sécurité.

Avec l'augmentation de la quantité et de la complexité des données, dimensionner précisément et fidèlement les charges de travail analytiques au sein de l'entreprise peut se révéler difficile.

Data Engineering propose des fonctions natives de surveillance des pipelines de données et d'alerte afin de détecter les anomalies le plus tôt possible. Il permet en outre de visualiser les problèmes afin de pouvoir les résoudre avant qu'ils n'affectent vos activités.

 

Capture d'écran : Dépannage de pipeline de données

Fonctionnalités clés

Répondez à vos besoins analytiques essentiels en orchestrant des workflows complexes dédiés à la transformation des données à l'aide d'Apache Airflow et de centaines d'opérateurs.

Data Engineering est un service conteneurisé, évolutif et portable qui propose des environnements de travail et des protections isolés. Vous disposez ainsi de ressources informatiques à la demande afin de gérer vos pipelines en toute sécurité et de respecter les SLA à moindre coût.

Consultez les indicateurs de performance, y compris l'utilisation du processeur, la mémoire et les E/S, à chaque étape de vos projets Spark. Repérez ainsi les points faibles et identifiez les problèmes les plus subtils.

Profitez d'une interface de gestion avancée basée sur une CLI et des API REST. Automatisez et intégrez facilement les workflows existants, notamment les pipelines CI/CD et les outils tiers.

Data Engineering propose un service Spark entièrement intégré à Kubernetes qui automatise et simplifie la gestion des artefacts, la sécurité et l'ordonnancement des ressources – à noter que l'ordonnancement FIFO et GANG est assuré par Apache Yunikorn.

Les administrateurs de plateforme disposent d'une interface centralisée pour gérer les accès et la sécurité, puis attribuer rapidement de nouvelles tâches tout en contrôlant facilement la capacité et l'utilisation des ressources dans le temps. SDX permet également d'assurer le suivi des données tout au long de leur cycle de vie afin de connaître leur provenance et leur destination.

Vous souhaitez approfondir le sujet ?


Faites un essai de Data Engineering sur Cloudera Data Platform

Pour commencer

Démo CDP

Regardez une démo à la demande et découvrez comment accélérer les workflows de data engineering où qu'ils se trouvent.

En savoir plus

Présentation vidéo de CDP


Plongez au cœur de CDP et découvrez les avantages que peuvent apporter les workflows de data engineering sécurisés et optimisés à votre entreprise.

Regarder dès maintenant

Ressources techniques CDP

Gagnez du temps grâce à un centre d'informations et de ressources techniques unique conçu pour vous aider à prendre en main et à maîtriser Cloudera Data Engineering.

Trouver des réponses

Formation gratuite

Accédez à une formation à la demande pour vous familiariser avec Data Engineering et mettre en place des pipelines de manière rapide et sécurisée dans toute l'entreprise.

Accéder à la formation

Tarifs

Vérifiez les prix, les modalités de facturation, les détails des licences, les taux horaires ainsi que l'estimation des coûts à l'aide d'outils de calcul pratiques.

Consulter les tarifs

Documentation

Démarrez sur de bonnes bases grâce à la planification des ressources, la configuration des produits et tout ce qui a trait aux bonnes pratiques en matière de data engineering.

Lire maintenant

Ebook

CDP Data Engineering : Porter le cycle de vie des données au niveau supérieur

Webinar

Webinaire Cognilytica : Optimiser les pipelines de data engineering

Whitepaper

Les fondamentaux du cycle de vie du data engineering basé sur l'IA

Webinar

Data Engineering dans l'entreprise : Mettre en place et adapter vos pipelines de données plus rapidement

Formation, assistance et services haut de gamme

Your form submission has failed.

This may have been caused by one of the following:

  • Your request timed out
  • A plugin/browser extension blocked the submission. If you have an ad blocking plugin please disable it and close this message to reload the page.