Cloudera et NiFi : à la pointe de l'excellence en matière d'ingestion et de traitement des données
Donner les moyens aux entreprises orientées données grâce à Cloudera Flow Management 4 (optimisé par Apache NiFi 2.0)
Depuis longtemps, Apache NiFi est une pierre angulaire de l'ingénierie des données, offrant un cadre puissant et flexible pour l'ingestion, la transformation et la distribution des données. En tant que contributeur majeur à NiFi, Cloudera a joué un rôle clé dans son évolution et son adoption. Avec la récente sortie de Cloudera Flow Management 4.0 en avant-première technique, première version de Cloudera Flow Management basée sur NiFi 2.0, nous sommes heureux de présenter les fonctionnalités améliorées et la manière dont Cloudera continue de jouer un rôle de premier plan dans la gestion des flux de données.
La valeur de NiFi 2.0 et Cloudera Flow Management 4.0
Cloudera Flow Management 4.0 (optimisé par Apache NiFi 2.0) apporte des améliorations significatives, notamment :
Une performance améliorée : NiFi 2.0 bénéficie d'améliorations significatives en termes de performance, traitant les flux de données plus efficacement et s'adaptant à des charges de travail plus importantes. Ces améliorations offrent aux utilisateurs plus de puissance et de fiabilité pour ingérer, traiter et distribuer des ensembles de données plus importants et plus complexes.
Un développement simplifié : la nouvelle interface de canevas de flux et la fonctionnalité améliorée par glisser-déposer accélèrent et rendent le développement des flux plus intuitif. Le temps de développement des flux est ainsi considérablement réduit, ce qui se traduit par des économies.
Un niveau de sécurité avancé : NiFi 2.0 introduit des fonctionnalités de sécurité améliorées, notamment des mécanismes de chiffrement et d'authentification renforcés. Cela permet de renforcer la confiance dans un système sécurisé et fiable pour le traitement des données sensibles.
Intégrations étendues : NiFi 2.0 s'intègre de manière transparente à un éventail plus large de sources de données et de systèmes, ce qui étend son applicabilité à divers cas d'utilisation. Cloudera Flow Management 4.0 conserve spécifiquement les composants qui permettent l'intégration à des applications Cloudera où de nombreux composants tels que Hive et Accumulo ont été supprimés dans Apache NiFi 2.0. En outre, Cloudera Flow Management 4.0 inclut de nouvelles intégrations telles que les capacités de capture des données modifiées (CDC) pour les systèmes de bases de données relationnelles ainsi que Iceberg. Les utilisateurs peuvent ainsi concevoir leurs propres systèmes de bout en bout à l'aide des applications Cloudera et de systèmes externes.
Développement de processeurs Python natifs : NiFi 2.0 fournit un SDK Python qui permet de développer rapidement des processeurs en Python et de les déployer dans des flux. Certains processeurs courants d'analyse de documents écrits en Python sont inclus dans la version. Cloudera Flow Management 4.0 ajoute spécifiquement des composants pour l'intégration de données, l'ingestion dans des bases de données vectorielles, l'activation de plusieurs systèmes d'IA générative et l'utilisation de grands modèles de langage (LLM) via Amazon Bedrock. Les utilisateurs bénéficient ainsi d'un ensemble impressionnant de fonctionnalités d'IA générative pour optimiser leurs cas d'utilisation.
Bonnes pratiques en matière de conception de flux : NiFi 2.0 fournit un moteur de règles pour développer des règles d'analyse de flux qui recommandent et appliquent les bonnes pratiques en matière de conception de flux. Cloudera Flow Management 4.0 fournit plusieurs règles d'analyse de flux pour des aspects tels que la gestion des threads et les composants recommandés. Les administrateurs de Cloudera Flow Management peuvent les exploiter pour garantir des flux bien conçus et robustes pour leurs cas d'utilisation.
Cloudera et NiFi - Support continu, innovation et migration simplifiée
Cloudera a été l'un des moteurs du développement de NiFi, en contribuant activement à sa communauté open source et en fournissant des conseils d'experts aux utilisateurs. Cloudera a investi massivement dans NiFi afin d'assurer son évolution continue et sa pertinence dans un paysage de données qui ne cesse d'évoluer.
Notre engagement envers NiFi transparaît clairement dans nos initiatives. Nous participons activement à la communauté Apache NiFi, partageons nos connaissances et nos bonnes pratiques, et aidons les utilisateurs via des listes de diffusion, des forums et des événements. Outre ses contributions à la communauté, Cloudera Flow Management Operator permet aux clients de déployer et de gérer des clusters NiFi et des instances NiFi Registry sur les plateformes d'applications Kubernetes. Cloudera Flow Management Operator simplifie la collecte, la transformation et la livraison des données au sein des entreprises. Tirant parti d'une infrastructure conteneurisée, l'opérateur rationalise l'orchestration de flux de données complexes.
Cloudera est le seul fournisseur à proposer un outil de migration qui simplifie le processus complexe et répétitif de migration des flux Cloudera Flow Management de l'ensemble de composants NiFi 1 vers l'ensemble NiFi 2. À cette fin, Cloudera propose des services complets de formation et de conseil pour aider les entreprises à exploiter le plein potentiel de NiFi.
Façonner l'avenir de la gestion des flux de données
Avec Cloudera Flow Management 4.0.0 (optimisé par Apache NiFi 2.0), Cloudera renforce sa position de leader dans le domaine de la gestion des flux de données. Nous continuerons à investir dans le développement de NiFi afin que l'outil reste puissant et fiable pour les ingénieurs et les scientifiques des données. Cloudera propose également des déploiements cloud de Cloudera Flow Management, qui optimisent votre efficacité opérationnelle et qui permettent à l'ensemble de votre entreprise d'évoluer en toute confiance. Les fonctionnalités qui facilitent, intègrent et améliorent vos solutions optimisées par l'IA sont au cœur de Cloudera Flow Management. Nous continuons également à fournir assistance et conseils à nos clients afin de les aider à exploiter toute la puissance de NiFi et à mener à bien leurs initiatives stratégiques en matière de données.
En savoir plus :
Pour découvrir les nouvelles fonctionnalités de Cloudera Flow Management et en savoir plus sur la manière dont la solution peut transformer vos pipelines de données, cliquez ci-dessous :