Cloudera SQL Stream Builder est une interface interactive complète qui permet de créer des tâches de traitement de flux avec état en SQL et de les convertir en tâches Flink optimisées. L'utilisation de SQL permet de déclarer simplement et rapidement des expressions pour filtrer, regrouper, acheminer et transformer les flux de données. Avec l'interface de gestion des tâches de SQL Stream Builder, vous pouvez composer et exécuter des requêtes SQL sur des flux, mais aussi créer des API de données durables pour consulter les résultats.

Veillez à ce que les données soient traitées une seule fois à tout moment, même en cas d'erreur et de nouvelles tentatives. Par exemple, les sociétés de services financiers peuvent utiliser le traitement des flux en vue de coordonner des centaines de systèmes de transactions back-office au moment où les consommateurs paient leur prêt immobilier.

Détectez et traitez les événements de flux qui n'arrivent pas dans l'ordre. Par exemple, les services anti-fraude en temps réel doivent veiller à ce que les données soient traitées dans le bon ordre, même si elles arrivent en retard.

Traitez les flux de données en mémoire, un par un. Par exemple, vous pouvez traiter les demandes de 30 millions d'utilisateurs actifs effectuant des paiements par carte bancaire, des transferts et des consultations de solde avec un temps de latence de quelques millisecondes.

Déclenchez des événements lorsque vous gérez des centaines de sources de flux et des millions d'événements par seconde et par flux. Par exemple, lorsqu'un patient se présente aux urgences, le système se connecte à des systèmes externes en vue de récupérer les données le concernant auprès de centaines de sources, de sorte qu'elles soient disponibles dans le DME au moment où il arrive dans la salle d'examen.

Les flux de données ont peu de valeur, sauf s'ils peuvent facilement intégrer, joindre et associer ces flux à d'autres sources de données au repos, notamment des entrepôts, des bases de données relationnelles ou encore des data lakes. Configurez les fournisseurs de données à l'aide de connecteurs prêts à l'emploi ou de votre propre connecteur vers n'importe quelle source de données. Une fois les fournisseurs de données créés, l'utilisateur peut facilement créer des tables virtuelles à l'aide d'un langage de définition de données (DDL). Les fonctions SQL courantes, telles que les jointures et les agrégations, facilitent l'intégration complexe entre plusieurs flux et sources de données par lots.

Prend en charge des millions de messages par seconde avec un temps de latence faible et un débit élevé, le tout assorti d'une évolutivité souple et transparente sans temps d'arrêt. Répond à un large éventail de besoins en matière de gestion des données en flux, ce qui permet aux entreprises de satisfaire les exigences de leurs clients, de fournir de meilleurs services et de gérer les risques de manière proactive.

Streams Messaging Manager vous offre une vue complète sur la circulation des données entre les clusters Kafka (c'est-à-dire entre les producteurs, courtiers, sujets et consommateurs), vous permettant ainsi d'assurer le suivi de la traçabilité et de la gouvernance des données entre l'edge et le cloud. La solution simplifie également le dépannage des environnements Kafka grâce à des fonctions intelligentes de filtrage et de tri.

Streams Replication Manager, basé sur Mirrormaker 2, est un outil évolutif, robuste et tolérant aux pannes qui permet de répliquer les sujets Kafka, mais aussi de suivre les réplications et de recueillir des indicateurs au niveau des clusters et des sujets. Voici quelques-unes de ses principales caractéristiques et fonctionnalités : haute disponibilité, reprise après sinistre, migrations cloud et proximité géographique.

Schema Registry vous permet de gérer tous les schémas client et producteur, de les partager et de contribuer à leur développement au sein d'un référentiel de schémas partagé qui permet aux applications d'interagir entre elles avec flexibilité dans l'environnement Kafka. Vous pouvez ainsi réduire les interruptions dues à la non-concordance des schémas en toute sécurité.

Cruise Control vous permet de gérer et d'équilibrer les charges des grandes installations Kafka, en plus de détecter et de corriger automatiquement les anomalies. Il permet de résoudre les problèmes les plus épineux tels que les pannes matérielles/virtuelles fréquentes, l'agrandissement/la réduction des clusters et la mauvaise répartition des charges entre les courtiers.

Cloudera SDX centralise la sécurité, les politiques de contrôle, la gouvernance et la traçabilité des données pour tous les composants. Ces paramètres sont définis une seule fois et appliqués automatiquement, quel que soit le fournisseur, ce qui vous permet de mettre en œuvre des stratégies multicloud et cloud hybride en toute sérénité. Il respecte les quatre grands principes de sécurité, à savoir l'identité, l'accès, la protection des données et la visibilité.