• Cloudera Cloudera
  • Essayez dès aujourd'hui le cloud public de Cloudera Data Platform.
    Vue d'ensemble

    Simplifiez et mettez en place des pipelines de données sécurisés à n'importe quelle échelle.

    CDP Data Engineering est le seul service cloud-native conçu spécialement pour les équipes de data engineering. Basé sur Apache Spark, cet ensemble d'outils complet permet d'automatiser l'orchestration via Apache Airflow, de surveiller étroitement les pipelines, de visualiser les problèmes et de les résoudre, et de simplifier les processus ETL entre les différentes équipes d'analyse.

    Grâce à l'intégration complète de Data Engineering avec Cloudera Data Platform, vous bénéficiez d'une visibilité et d'une sécurité de bout en bout avec SDX, mais aussi d'une intégration transparente avec les services de CDP tels que Data Warehouse et Machine Learning. Data Engineering vous permet de mettre en place des workflows d'ingénierie des données cohérents, répétables et automatisés sur une plateforme cloud hybride, où vous le souhaitez.

    Cas d'utilisation

    • Automatiser les pipelines de données partout
    • Améliorer la visibilité et le contrôle des processus ETL
    • Préserver l'intégrité des données de bout en bout

    Automatiser les pipelines de données partout


    Transmettez des ensembles de données de qualité en toute sécurité à CDP Data Warehouse, à CDP Machine Learning ou à l'outil d'analyse de votre choix.

    Data Engineering simplifie les pipelines de données pour les équipes d'analyse, du machine learning à l'entreposage de données et au-delà. Accélérez les délais de rentabilisation en orchestrant et en automatisant les pipelines afin de fournir des ensembles de données de qualité de manière sécurisée et transparente, où vous en avez besoin.

    En savoir plus

    Améliorer la visibilité et le contrôle des processus ETL


    Gérez le cycle de vie de vos données de manière globale et transparente.

    La mise en œuvre de pipelines de données à l'échelle de l'entreprise complexifie la gestion du cycle de vie des données et le contrôle des coûts.

    Pour cela, Data Engineering fournit aux entreprises les fonctions suivantes : planification de la capacité, automatisation des pipelines, dépannage et suivi automatique de la provenance des données.

    Lien vers le billet de blog

    Image abstraite suggérant visibilité et contrôle

    Préserver l'intégrité des données de bout en bout


    Visibilité totale des pipelines au service de la sécurité.

    Avec l'augmentation de la quantité et de la complexité des données, dimensionner précisément et fidèlement les charges de travail analytiques au sein de l'entreprise peut se révéler difficile.

    Data Engineering propose des fonctions natives de surveillance des pipelines de données et d'alerte afin de détecter les anomalies le plus tôt possible. Il permet en outre de visualiser les problèmes afin de pouvoir les résoudre avant qu'ils n'affectent vos activités.

     

    Capture d'écran : Dépannage de pipeline de données

    Fonctionnalités clés

    Répondez à vos besoins analytiques essentiels en orchestrant des workflows complexes dédiés à la transformation des données à l'aide d'Apache Airflow et de centaines d'opérateurs.

    Data Engineering est un service conteneurisé, évolutif et portable qui propose des environnements de travail et des protections isolés. Vous disposez ainsi de ressources informatiques à la demande afin de gérer vos pipelines en toute sécurité et de respecter les SLA à moindre coût.

    Consultez les indicateurs de performance, y compris l'utilisation du processeur, la mémoire et les E/S, à chaque étape de vos projets Spark. Repérez ainsi les points faibles et identifiez les problèmes les plus subtils.

    Profitez d'une interface de gestion avancée basée sur une CLI et des API REST. Automatisez et intégrez facilement les workflows existants, notamment les pipelines CI/CD et les outils tiers.

    Data Engineering propose un service Spark entièrement intégré à Kubernetes qui automatise et simplifie la gestion des artefacts, la sécurité et l'ordonnancement des ressources – à noter que l'ordonnancement FIFO et GANG est assuré par Apache Yunikorn.

    Les administrateurs de plateforme disposent d'une interface centralisée pour gérer les accès et la sécurité, puis attribuer rapidement de nouvelles tâches tout en contrôlant facilement la capacité et l'utilisation des ressources dans le temps. SDX permet également d'assurer le suivi des données tout au long de leur cycle de vie afin de connaître leur provenance et leur destination.

    Vous souhaitez approfondir le sujet ?


    Faites un essai de Data Engineering sur Cloudera Data Platform

    Pour commencer

    Démo CDP

    Regardez une démo à la demande et découvrez comment accélérer les workflows de data engineering où qu'ils se trouvent.

    En savoir plus

    Présentation vidéo de CDP


    Plongez au cœur de CDP et découvrez les avantages que peuvent apporter les workflows de data engineering sécurisés et optimisés à votre entreprise.

    Regarder dès maintenant

    Ressources techniques CDP

    Gagnez du temps grâce à un centre d'informations et de ressources techniques unique conçu pour vous aider à prendre en main et à maîtriser Cloudera Data Engineering.

    Trouver des réponses

    Formation gratuite

    Accédez à une formation à la demande pour vous familiariser avec Data Engineering et mettre en place des pipelines de manière rapide et sécurisée dans toute l'entreprise.

    Accéder à la formation

    Tarifs

    Vérifiez les prix, les modalités de facturation, les détails des licences, les taux horaires ainsi que l'estimation des coûts à l'aide d'outils de calcul pratiques.

    Consulter les tarifs

    Documentation

    Démarrez sur de bonnes bases grâce à la planification des ressources, la configuration des produits et tout ce qui a trait aux bonnes pratiques en matière de data engineering.

    Lire maintenant

    Ebook

    CDP Data Engineering : Porter le cycle de vie des données au niveau supérieur

    Webinar

    Webinaire Cognilytica : Optimiser les pipelines de data engineering

    Whitepaper

    Les fondamentaux du cycle de vie du data engineering basé sur l'IA

    Webinar

    Data Engineering dans l'entreprise : Mettre en place et adapter vos pipelines de données plus rapidement

    Formation, assistance et services haut de gamme

    Your form submission has failed.

    This may have been caused by one of the following:

    • Your request timed out
    • A plugin/browser extension blocked the submission. If you have an ad blocking plugin please disable it and close this message to reload the page.