Apache Atlas
Atlas est conçu pour échanger des métadonnées avec d'autres outils et d'autres processus dans la pile Hadoop et en dehors de celle-ci, permettant ainsi une gouvernance indépendante qui répond efficacement aux exigences de conformité.
Apache Atlas offre une gouvernance évolutive dédiée à Hadoop pour les entreprises et qui repose sur les métadonnées. Atlas est conçu à la base pour modéliser facilement de nouveaux processus métier et ensembles de données. Ce système flexible permet d'échanger des métadonnées avec d'autres outils et d'autres processus dans la pile Hadoop et en dehors de celle-ci, permettant ainsi une gouvernance indépendante qui répond efficacement aux exigences de conformité.
Le développement d'Apache Atlas suit deux principes :
- La vérité sur les métadonnées dans Hadoop : Atlas offre une réelle visibilité sur Hadoop. En utilisant un connecteur natif adapté aux composants Hadoop, Atlas offre un suivi technique et opérationnel enrichi de métadonnées métier taxonomiques. Atlas facilite l'échange de métadonnées en permettant à tout consommateur de métadonnées de mettre en commun un magasin de métadonnées qui facilite l'interopérabilité entre de multiples producteurs.
- Développé de façon ouverte : les ingénieurs de chez Aetna, Merck, SAS, Schlumberger et Target travaillent ensemble pour garantir qu'Atlas résolve de réels problèmes de gouvernance des données dans de nombreux secteurs d'activité où Hadoop est utilisé.Cette approche est un exemple d'innovation open source portée par la communauté qui accélère la maturation du produit ainsi que sa rentabilité pour les entreprises axées sur les données.
Apache Atlas donne aux entreprises les moyens de se mettre en conformité efficacement à travers un ensemble évolutif de services de gouvernance. Ces services comprennent :
- Traçabilité des données : restitue la traçabilité des données parmi tous les composants Hadoop au niveau de la plateforme
- Modélisation Agile des données : le système par liste de types permet d'obtenir des structures personnalisées de métadonnées dans une taxonomie de hiérarchie
- API REST : accès moderne et flexible aux services Atlas, composants HDP, IU et outils externes.
- Échange de métadonnées : exploitez les métadonnées/modèles existants en les important depuis vos outils actuels. Exportez les métadonnées vers les systèmes situés en aval.
Comment fonctionne Atlas
Apache Atlas est conçu pour échanger efficacement des métadonnées au sein de Hadoop et de l'écosystème de données élargi. Le modèle adaptatif d'Atlas réduit le temps de mise en conformité en exploitant les métadonnées existantes ainsi que la taxonomie du secteur d'activité de l'entreprise.Avec Atlas, les administrateurs et coordonnateurs des données ont la possibilité de définir, annoter et automatiser l'obtention des relations entre ensembles de données et éléments sous-jacents, dont les processus source, cible et dérivation.
Atlas garantit également la cohérence des métadonnées en aval dans l'ensemble de l'écosystème en permettant aux entreprises d'exporter facilement leurs métadonnées dans les systèmes tiers.