Vue d'ensemble
Relevez les enjeux liés au déploiement et au suivi des flux NiFi.
Cloudera DataFlow pour le cloud public est un nouveau produit disponible sur Cloudera Data Platform (CDP). Il permet de relever les enjeux opérationnels liés au déploiement, à l'évolutivité et au dimensionnement de l'infrastructure des flux Apache NiFi et propose des fonctionnalités complètes de suivi.
DataFlow permet de relever les difficultés suivantes :
Le partage des ressources entre plusieurs flux NiFi au sein du même cluster nuit aux performances globales
La sous-estimation de la taille des clusters peut entraîner des dépenses d'infrastructure imprévues
Le dimensionnement de l'infrastructure en fonction des besoins peut être un cauchemar sur le plan opérationnel
Les outils actuels ne permettent pas de suivre les indicateurs de flux de données sur plusieurs clusters à partir d'une même interface
Découvrez comment DataFlow pour le cloud public résout ces problèmes
Caractéristiques
ReadyFlows NiFi prédéfinis
Tableau de bord centralisé
Catalogue de flux
ReadyFlows NiFi prédéfinis
Boostez votre productivité grâce aux flux NiFi prédéfinis les plus courants, pour les utilisateurs NiFi débutants et experts.
Les ReadyFlows sont des définitions de flux destinées à aider les nouveaux utilisateurs de NiFi à aborder les cas d'utilisation les plus courants et à les mettre en œuvre via Cloudera DataFlow. Les utilisateurs peuvent télécharger la définition du flux, en configurer rapidement les propriétés, l'importer dans le Catalogue, puis le déployer dans leur environnement de cloud public.
Exemples de ReadyFlows :
Consommation de Kafka vers Kafka
Consommation à partir de Kafka et filtrage des données
Consommation de Kafka vers un bucket S3
Tableau de bord centralisé
Suivez tous vos flux NiFi sur plusieurs clusters cloud à partir d'un seul tableau de bord.
Le tableau de bord de l'interface utilisateur de Cloudera DataFlow sert de console centrale pour suivre tous les déploiements de flux NiFi dans les divers environnements. Les utilisateurs peuvent contrôler les indicateurs de flux et l'utilisation de l'infrastructure, mais aussi vérifier l'état des déploiements pour s'assurer qu'ils répondent aux objectifs de performance. Ils bénéficient d'une meilleure visibilité sur la qualité des déploiements en surveillant l'état des données envoyées et reçues, et en vérifiant les alertes relatives aux indicateurs clés de performance qu'ils ont définis.
Catalogue de flux
Stockez, gérez et déployez toutes vos définitions de flux à partir d'une plateforme unique.
Autre page importante de l'interface utilisateur de Cloudera DataFlow, le Catalogue est l'endroit où sont stockées les définitions de flux. Il permet aux utilisateurs de gérer le cycle de vie des définitions de flux CDF, de l'importation à la suppression en passant par le versionnage. Importer un flux dans le Catalogue permet de préparer une définition de flux NiFi traditionnelle en vue de la configurer et de la déployer dans le cloud public. Les capacités de versionnement du Catalogue permettent également à l'utilisateur de déployer des versions spécifiques d'un flux.
Dimensionnez les déploiements de flux sur les clusters Kubernetes gérés par CDP, en fonction de l'utilisation du CPU et dans les limites définies dans l'assistant de déploiement.
ReadyFlows est un ensemble prédéfini de flux de données qui aide les développeurs à mettre en œuvre les cas d'utilisation les plus courants. Ils améliorent la productivité des développeurs en leur permettant de déployer rapidement des flux prédéfinis avec une configuration minimale.
Le Catalogue est l'endroit où sont stockées les définitions de flux. Il permet de gérer le cycle de vie des définitions de flux CDF, de l'importation à la suppression en passant par le versionnage. Il sert également à initier de nouveaux déploiements de flux.
Il s'agit d'un processus simple, étape par étape, qui consiste à déployer un flux à partir d'une définition de flux du Catalogue dans le but de traiter les données. Il permet aux utilisateurs de configurer des paramètres, de créer des limites pour le dimensionnement automatique et de définir des indicateurs clés de performance pour les déploiements de flux.
Suivez les déploiements de flux sur plusieurs clusters d'un seul coup d'œil et en temps réel. Le tableau de bord présente les indicateurs clés de performance prédéfinis ainsi que les alertes, les indicateurs et les événements relatifs au système.
La prise en charge de Kubernetes dans l'environnement de cloud public permet d'isoler les déploiements de flux individuels et de dimensionner chaque cluster sans conflit de ressources. Cela facilite également le dépannage et l'isolement des défaillances.
Vous souhaitez approfondir le sujet ?
Faites un essai de DataFlow pour le cloud public
Pour commencer
DOCUMENTATION PRODUIT
Vous trouverez ici les caractéristiques techniques de Cloudera DataFlow pour le cloud public ainsi que des informations sur l'architecture, des tutoriels et des articles pratiques.
TARIFS DE CDF POUR LE CLOUD PUBLIC
Comparez les tarifs de Cloudera DataFlow pour le cloud public sur différents types d'instances cloud.
PRÉSENTATION GUIDÉE DE DATAFLOW
Découvrez le fonctionnement de Cloudera DataFlow pour le cloud public.
LA COMMUNAUTÉ CLOUDERA AVEC NIFI
Entrez en contact avec vos homologues, posez des questions, réglez des problèmes et apprenez-en davantage sur Apache NiFi.
FORMATION NIFI
Réservez un cours de formation pratique de trois jours pour apprendre les bases d'Apache NiFi et plus encore.
WEBINAIRE PRODUIT
Regardez l'introduction et la démonstration de Cloudera DataFlow pour le cloud public.