Cloudera Data Engineering
Créez, orchestrez et gérez des pipelines de données d'entreprise avec Apache Spark sur Iceberg. Bénéficiez d'une IA évolutive et d'analyses multifonctions, du cloud aux centres de données.
Vue d'ensemble
La norme ouverte en matière d'ingénierie des données d'entreprise
Data Engineering permet aux équipes de créer, d'automatiser et d'adapter des pipelines de données en toute sécurité sur la base d'un lakehouse ouvert. Bénéficiez d'analyses multifonctions et de l'IA pour toutes vos données, où qu'elles se trouvent.
Unifiez les données structurées et non structurées avec Apache Spark sur Iceberg, orchestré via Airflow, de manière entièrement ouverte et sans dépendance vis-à-vis d'un fournisseur.
Créez, exécutez et gérez des pipelines de données partout (clouds, centres de données ou environnements hybrides) grâce à la flexibilité offerte par la conteneurisation et à une gouvernance unifiée.
Réalisez des économies grâce à des outils de gouvernance financière permettant d'optimiser les ressources, notamment l'observabilité au niveau de la charge de travail, la mise à l'échelle automatique et le partage de données sans ETL.
CAS D'UTILISATION
Créez des pipelines de données de bout en bout pour accélérer l'IA et les analyses.
-
Pipelines évolutifs pour les données, où qu'elles se trouvent
Bénéficiez d'une portabilité des charges de travail, de normes ouvertes et d'une évolutivité dans le cloud et sur site.
-
Accélérez le DataOps grâce à l'orchestration
Automatisez les workflows, itérez les pipelines et simplifiez les collaborations.
-
Partage de données Zero-ETL
Assurez un accès sécurisé et fiable aux données en interne et en externe.
-
Surveillez et optimisez les coûts du pipeline
Réduisez le coût total de possession grâce à l'observabilité et à une puissance de calcul efficace.
-
Pipelines évolutifs pour les données, où qu'elles se trouvent
Bénéficiez d'une portabilité des charges de travail, de normes ouvertes et d'une évolutivité dans le cloud et sur site.
-
Accélérez le DataOps grâce à l'orchestration
Automatisez les workflows, itérez les pipelines et simplifiez les collaborations.
-
Partage de données Zero-ETL
Assurez un accès sécurisé et fiable aux données en interne et en externe.
-
Surveillez et optimisez les coûts du pipeline
Réduisez le coût total de possession grâce à l'observabilité et à une puissance de calcul efficace.
20 %
d'amélioration de l'efficacité de l'équipe chargée des données
Améliorez votre efficacité grâce à la portabilité, à l'orchestration et à l'accès unifié aux données depuis Cloudera sur site.
Exécutez Spark, Iceberg et Airflow où que vous soyez, grâce à une ingénierie des données cloud-native.
Améliorez la productivité des professionnels grâce à des outils intuitifs et sécurisés pour les entreprises.
Créez, testez et orchestrez des pipelines avec Sessions et Apache Airflow.
Fournir des données fraîches aux pipelines en aval et aux plateformes externes.
Connectez-vous à des moteurs externes via le catalogue REST d'Iceberg avec gouvernance des métadonnées et traçabilité.
Dimensionnez plus intelligemment grâce à une gouvernance financière au niveau de la charge de travail.
Optimisez vos coûts grâce à des informations intégrées et aux processeurs AWS Graviton à faible consommation d'énergie.
Exécutez des pipelines évolutifs et gouvernés avec Spark sur Iceberg dans des containers depuis le data lakehouse ouvert. Tirez parti de l'évolution des schémas, du voyage dans le temps et du partage de données externes d'Iceberg dans des environnements sur site ou dans le cloud.
Orchestration par glisser-déposer pour les workflows complexes, simplifiant la gestion des tâches, le contrôle des dépendances et la connectivité des outils externes.
Lancez des sessions à la demande pour des tests et des itérations rapides. Activez le développement distant et sécurisé depuis n'importe quel IDE, par exemple VSCode et Jupyter Notebook, alimenté par Spark Connect.
Maintenez les données à jour en enregistrant les modifications au niveau des lignes provenant des systèmes sources. Automatisez les mises à jour continues pour créer des pipelines de données fiables.
Surveillez les pipelines de données de bout en bout grâce à la gestion intégrée de la traçabilité et des métadonnées. Optimisé par Cloudera Shared Data Experience (SDX) et Cloudera Octopai Data Lineage pour une visibilité automatisée, une gouvernance et des informations fiables dans les environnements hybrides.
Automatisez les flux de travail des pipelines sur n'importe quel service avec des API robustes, que vous travailliez en SQL, Java, Scala ou Python. Diagnostiquez et résolvez rapidement les problèmes de performance grâce au profilage visuel en temps réel, avec une surveillance et des alertes intégrées à chaque étape du cycle de vie.
Fonctionnalités par type de grappe Cloudera Data Engineering
| Cluster principal | Grappe polyvalente | ||
Infrastructure |
Cluster avec mise à l'échelle automatique | ||
| Instances ponctuelles | |||
| Cloudera Shared Data Experience | |||
| Lakehouse ouvert avec Iceberg | |||
Spark |
Gestion du cycle de vie des tâches | ||
| Surveillance centralisée | |||
| Orchestration des workflows (Airflow) | |||
| Spark Streaming | |||
Points de terminaison de développement |
Sessions interactives | ||
| Connectivité IDE externe | |||
| Connecteur JDBC (prochainement) | |||
Options de déploiement de Cloudera Data Engineering
Une couche de traitement unifiée sur un data lakehouse hybride ouvert.
Cloudera dans le cloud
- Flexibilité multicloud : déploiement sur des clouds publics grâce à des services conteneurisés API-first, entièrement interopérables et sans dépendance vis-à-vis d'un fournisseur.
- Expérience modulaire pour les développeurs : Utilisez Apache Airflow, Spark géré, des API et des IDE pour accélérer le développement grâce à des collaborations itératives.
- Évolutivité élastique : mise à l'échelle automatique et dynamique des charges de travail Spark et optimisation des coûts en fonction de l'utilisation.
Cloudera sur site
- Maîtrisez votre déploiement : déploiement sur des clouds publics grâce à des services conteneurisés API-first, entièrement interopérables et sans dépendance vis-à-vis d'un fournisseur.
- Expérience prête pour le cloud : bénéficiez des mêmes services modulaires et conteneurisés que dans le cloud, conçus pour une portabilité et une évolutivité hybrides.
- Pour les entreprises : profitez d'une intégration rapide, d'un accès externe à l'environnement de développement et de contrôles d'accès granulaires par défaut.
CLIENTS
Différentes entreprises se servent de notre solution pour transformer les données hybrides en résultats.
Transport
GEODIS
Services financiers
Nord/LB
l'industrie manufacturière et automobile
Navistar
Connecteurs, intégrations et partenaires.
Créez des pipelines sur un écosystème de données ouvert et interopérable. Intégrez les principaux moteurs, fournisseurs cloud et outils à votre pile de données moderne.
Traitement des données
Lacs de données et entrepôts de données
Orchestration des données
Ingestion de flux de données
Moteur NoSQL
Lacs de données et entrepôts de données
Fournisseur de services cloud
Fournisseur de services cloud
Fournisseur de services cloud
Fournisseur de services cloud
Orchestration de containers
Entrepôt de données
Vous en voulez plus ?
Passez à l'étape suivante
Plongez dans les détails et explorez les puissantes capacités de Cloudera Data Engineering.
Visite guidée du produit Data Engineering
Découvrez Cloudera Engineering grâce à la présentation du produit.
Documentation sur l'ingénierie des données
Découvrez en détail comment démarrer et utiliser Cloudera Data Engineering.
Découvrez d'autres produits
Analysez des quantités colossales de données fournies simultanément à des milliers d'utilisateurs, sans compromis sur les coûts, la vitesse ou la sécurité.
Prenez des décisions éclairées grâce à une plateforme flexible qui traite toutes les données, où qu'elles soient, pour obtenir des analyses exploitables et une IA fiable.
Accélérez la prise de décision basée sur les données, de la recherche à la production, grâce à une plateforme sécurisée, évolutive, ouverte et dédiée à l'IA d'entreprise.
Récupérez vos données de n'importe quelle source et déplacez-les vers n'importe quelle destination de manière simple, sécurisée, évolutive et rentable.