Vue d'ensemble
 

Relevez les enjeux liés au déploiement et au suivi des flux NiFi.

Cloudera DataFlow pour le cloud public est un nouveau produit disponible sur Cloudera Data Platform (CDP). Il permet de relever les enjeux opérationnels liés au déploiement, à l'évolutivité et au dimensionnement de l'infrastructure des flux Apache NiFi et propose des fonctionnalités complètes de suivi.

DataFlow permet de relever les difficultés suivantes :

  • Le partage des ressources entre plusieurs flux NiFi au sein du même cluster nuit aux performances globales

  • La sous-estimation de la taille des clusters peut entraîner des dépenses d'infrastructure imprévues

  • Le dimensionnement de l'infrastructure en fonction des besoins peut être un cauchemar sur le plan opérationnel

  • Les outils actuels ne permettent pas de suivre les indicateurs de flux de données sur plusieurs clusters à partir d'une même interface

Découvrez comment DataFlow pour le cloud public résout ces problèmes

 

 

Diagramme : CDF pour le cloud public

Caractéristiques

  • ReadyFlows NiFi prédéfinis
  • Tableau de bord centralisé
  • Catalogue de flux

ReadyFlows NiFi prédéfinis


Boostez votre productivité grâce aux flux NiFi prédéfinis les plus courants, pour les utilisateurs NiFi débutants et experts.

Les ReadyFlows sont des définitions de flux destinées à aider les nouveaux utilisateurs de NiFi à aborder les cas d'utilisation les plus courants et à les mettre en œuvre via Cloudera DataFlow. Les utilisateurs peuvent télécharger la définition du flux, en configurer rapidement les propriétés, l'importer dans le Catalogue, puis le déployer dans leur environnement de cloud public.

Exemples de ReadyFlows :

  • Consommation de Kafka vers Kafka

  • Consommation à partir de Kafka et filtrage des données

  • Consommation de Kafka vers un bucket S3

Capture d'écran : DataFlow ReadyFlow

Tableau de bord centralisé


Suivez tous vos flux NiFi sur plusieurs clusters cloud à partir d'un seul tableau de bord.

Le tableau de bord de l'interface utilisateur de Cloudera DataFlow sert de console centrale pour suivre tous les déploiements de flux NiFi dans les divers environnements. Les utilisateurs peuvent contrôler les indicateurs de flux et l'utilisation de l'infrastructure, mais aussi vérifier l'état des déploiements pour s'assurer qu'ils répondent aux objectifs de performance. Ils bénéficient d'une meilleure visibilité sur la qualité des déploiements en surveillant l'état des données envoyées et reçues, et en vérifiant les alertes relatives aux indicateurs clés de performance qu'ils ont définis.

Capture d'écran : Suivi DataFlow

Catalogue de flux


Stockez, gérez et déployez toutes vos définitions de flux à partir d'une plateforme unique.

Autre page importante de l'interface utilisateur de Cloudera DataFlow, le Catalogue est l'endroit où sont stockées les définitions de flux. Il permet aux utilisateurs de gérer le cycle de vie des définitions de flux CDF, de l'importation à la suppression en passant par le versionnage. Importer un flux dans le Catalogue permet de préparer une définition de flux NiFi traditionnelle en vue de la configurer et de la déployer dans le cloud public. Les capacités de versionnement du Catalogue permettent également à l'utilisateur de déployer des versions spécifiques d'un flux. 

Capture d'écran : Catalogue

Fonctionnalités clés

Dimensionnez les déploiements de flux sur les clusters Kubernetes gérés par CDP, en fonction de l'utilisation du CPU et dans les limites définies dans l'assistant de déploiement. 

ReadyFlows est un ensemble prédéfini de flux de données qui aide les développeurs à mettre en œuvre les cas d'utilisation les plus courants. Ils améliorent la productivité des développeurs en leur permettant de déployer rapidement des flux prédéfinis avec une configuration minimale.

Le Catalogue est l'endroit où sont stockées les définitions de flux. Il permet de gérer le cycle de vie des définitions de flux CDF, de l'importation à la suppression en passant par le versionnage. Il sert également à initier de nouveaux déploiements de flux.

Il s'agit d'un processus simple, étape par étape, qui consiste à déployer un flux à partir d'une définition de flux du Catalogue dans le but de traiter les données. Il permet aux utilisateurs de configurer des paramètres, de créer des limites pour le dimensionnement automatique et de définir des indicateurs clés de performance pour les déploiements de flux.

Suivez les déploiements de flux sur plusieurs clusters d'un seul coup d'œil et en temps réel. Le tableau de bord présente les indicateurs clés de performance prédéfinis ainsi que les alertes, les indicateurs et les événements relatifs au système.

La prise en charge de Kubernetes dans l'environnement de cloud public permet d'isoler les déploiements de flux individuels et de dimensionner chaque cluster sans conflit de ressources. Cela facilite également le dépannage et l'isolement des défaillances.

Vous souhaitez approfondir le sujet ?


Faites un essai de DataFlow pour le cloud public

Pour commencer

DOCUMENTATION PRODUIT

Vous trouverez ici les caractéristiques techniques de Cloudera DataFlow pour le cloud public ainsi que des informations sur l'architecture, des tutoriels et des articles pratiques.

En savoir plus

TARIFS DE CDF POUR LE CLOUD PUBLIC


Comparez les tarifs de Cloudera DataFlow pour le cloud public sur différents types d'instances cloud.

Plus d'informations

PRÉSENTATION GUIDÉE DE DATAFLOW

Découvrez le fonctionnement de Cloudera DataFlow pour le cloud public.

En savoir plus

LA COMMUNAUTÉ CLOUDERA AVEC NIFI

Entrez en contact avec vos homologues, posez des questions, réglez des problèmes et apprenez-en davantage sur Apache NiFi.

En savoir plus

FORMATION NIFI

Réservez un cours de formation pratique de trois jours pour apprendre les bases d'Apache NiFi et plus encore.

Accéder à la formation

WEBINAIRE PRODUIT

Regardez l'introduction et la démonstration de Cloudera DataFlow pour le cloud public.

Regarder

Datasheet

Cloudera DataFlow pour le cloud public

Solution Brief

Le principe des données en mouvement : un modèle d'architecture de données en flux à l'échelle de l'entreprise

Formation, assistance et services haut de gamme

Your form submission has failed.

This may have been caused by one of the following:

  • Your request timed out
  • A plugin/browser extension blocked the submission. If you have an ad blocking plugin please disable it and close this message to reload the page.