small image Ebook : Apache NiFi pour les nuls
  • Cloudera Cloudera
  • Vue d'ensemble

    Simplifiez et mettez en place des pipelines de données sécurisés à n'importe quelle échelle.

    CDP Data Engineering est le seul service cloud-native conçu spécialement pour les équipes de data engineering. Basé sur Apache Spark, cet ensemble d'outils complet permet d'automatiser l'orchestration via Apache Airflow, de surveiller étroitement les pipelines, de visualiser les problèmes et de les résoudre, et de simplifier les processus ETL entre les différentes équipes d'analyse.

    Grâce à l'intégration complète de Data Engineering avec Cloudera Data Platform, vous bénéficiez d'une visibilité et d'une sécurité de bout en bout avec SDX, mais aussi d'une intégration transparente avec les services de CDP tels que CDP Data Warehouse et CDP Machine Learning. Data Engineering vous permet de mettre en place des workflows d'ingénierie des données cohérents, répétables et automatisés sur une plateforme cloud hybride, où vous le souhaitez.

    Cas d'utilisation de CDP Data Engineering

    • Automatiser les pipelines de données partout
    • Améliorer la visibilité et le contrôle des processus ETL
    • Préserver l'intégrité des données de bout en bout

    Automatiser les pipelines de données partout


    Transmettez des ensembles de données de qualité en toute sécurité à CDP Data Warehouse, à CDP Machine Learning ou à l'outil d'analyse de votre choix.

    Data Engineering simplifie les pipelines de données pour les équipes d'analyse, du machine learning à l'entreposage de données et au-delà. Accélérez les délais de rentabilisation en orchestrant et en automatisant les pipelines afin de fournir des ensembles de données de qualité de manière sécurisée et transparente, où vous en avez besoin.

    En savoir plus

    Améliorer la visibilité et le contrôle des processus ETL


    Gérez le cycle de vie de vos données de manière globale et transparente.

    La mise en œuvre de pipelines de données à l'échelle de l'entreprise complexifie la gestion du cycle de vie des données et le contrôle des coûts.

    Pour cela, Data Engineering fournit aux entreprises les fonctions suivantes : planification de la capacité, automatisation des pipelines, dépannage et suivi automatique de la provenance des données.

    Lien vers le billet de blog

    Capture d'écran de l'outil CDP Data Engineering | Cloudera

    Préserver l'intégrité des données de bout en bout


    Visibilité totale des pipelines au service de la sécurité.

    Avec l'augmentation de la quantité et de la complexité des données, dimensionner précisément et fidèlement les charges de travail analytiques au sein de l'entreprise peut se révéler difficile.

    Data Engineering propose des fonctions natives de surveillance des pipelines de données et d'alerte afin de détecter les anomalies le plus tôt possible. Il permet en outre de visualiser les problèmes afin de pouvoir les résoudre avant qu'ils n'affectent vos activités.

     

    Capture d'écran de CDP Data Engineering - Dépannage de pipeline de données | Cloudera

    Fonctionnalités clés de CDP Data Engineering

    Répondez à vos besoins analytiques essentiels en orchestrant des workflows complexes dédiés à la transformation des données à l'aide d'Apache Airflow et de centaines d'opérateurs.

    Data Engineering est un service conteneurisé, évolutif et portable qui propose des environnements de travail et des protections isolés. Vous disposez ainsi de ressources informatiques à la demande afin de gérer vos pipelines en toute sécurité et de respecter les SLA à moindre coût.

    Consultez les indicateurs de performance, y compris l'utilisation du processeur, la mémoire et les E/S, à chaque étape de vos projets Spark. Repérez ainsi les points faibles et identifiez les problèmes les plus subtils.

    Profitez d'une interface de gestion avancée basée sur une interface en ligne de commande et des API Rest. Automatisez et intégrez facilement les workflows existants, notamment les pipelines CI/CD et les outils tiers.

    Data Engineering propose un service Spark entièrement intégré à Kubernetes qui automatise et simplifie la gestion des artefacts, la sécurité et l'ordonnancement des ressources – à noter que l'ordonnancement FIFO et GANG est assuré par Apache Yunikorn.

    Les administrateurs de plateforme disposent d'une interface centralisée pour gérer les accès et la sécurité, puis attribuer rapidement de nouvelles tâches tout en contrôlant facilement la capacité et l'utilisation des ressources dans le temps. SDX permet également d'assurer le suivi des données tout au long de leur cycle de vie afin de connaître leur provenance et leur destination.

    Vous souhaitez approfondir le sujet ?


    Faites un essai de Data Engineering sur Cloudera Data Platform

    Ebook

    CDP Data Engineering : Porter le cycle de vie des données au niveau supérieur

    Webinar

    Webinaire Cognilytica : Optimiser les pipelines de data engineering

    Whitepaper

    Les fondamentaux du cycle de vie du data engineering basé sur l'IA

    Webinar

    Data Engineering dans l'entreprise : Mettre en place et adapter vos pipelines de données plus rapidement

    Formation, assistance et services haut de gamme

    Your form submission has failed.

    This may have been caused by one of the following:

    • Your request timed out
    • A plugin/browser extension blocked the submission. If you have an ad blocking plugin please disable it and close this message to reload the page.