Apache Slider
Framework pour les applications YARN longue durée dans Hadoop
Apache™ Hadoop continue d'attirer de nouveaux moteurs pour alimenter sa plateforme de données, et ce afin de répondre aux besoins des entreprises qui souhaitent stocker leurs données de manière efficace dans un répertoire unique et interagir avec elles en simultané et de diverses façons. Leurs attentes : un outil qui rassemble SQL, streaming, machine learning et traitement traditionnel par lots, le tout dans un seul et même cluster. La plupart de ces applications doivent être des services « en continu » ou « de longue durée », prêts à traiter les données à mesure qu'elles leur parviennent.
Slider assure le déploiement de ces services de longue durée (comme Apache HBase, Apache Accumulo et Apache Storm) dans YARN, de sorte qu'ils disposent de ressources suffisantes pour gérer des quantités fluctuantes de données, en mobilisant uniquement les ressources de traitement nécessaires.
Objectif de Slider
Slider est un framework conçu pour le déploiement d'applications d'accès aux données de longue durée sur Hadoop.
Slider bénéficie des fonctionnalités de gestion des ressources de YARN pour déployer ces applications, gérer leur cycle de vie et les adapter, même lorsqu'elles sont actives. Slider assure le déploiement des services de longue durée existants (comme Apache HBase, Apache Accumulo et Apache Storm) dans YARN, de sorte qu'ils disposent de ressources suffisantes pour gérer des quantités fluctuantes de données, en mobilisant uniquement les ressources de traitement nécessaires.
Grâce à Apache Slider, les utilisateurs peuvent créer et exécuter différentes versions de leurs applications de longue durée hétérogènes dans Hadoop avec YARN. Chaque instance d'application peut être configurée de façon unique, et son cycle de vie opérationnel sera géré individuellement. Sur demande, Slider peut développer ou réduire des instances d'application en cours d'exécution. En cas de panne du container, Slider fait appel aux installation YARN pour opérer la reprise de l'application. Toutes ces outils sont disponibles sur les plateformes Linux et Windows.
Ces fonctionnalités Apache Slider offrent trois avantages clés aux entreprises exécutant Hadoop :
| Benefit | Description |
|---|---|
| Turnkey YARN enablement | Enables long-running applications to take advantage of YARN’s benefits without code changes:
|
| Hadoop integration | Applications running with Apache Slider cooperate with the Enterprise Hadoop ecosystem in an integrated way--leveraging Hadoop’s data and processing resources, as well as its security, governance, and operations capabilities |
| Lifecycle management | Automatically makes applications manageable through Apache Ambari without any additional work |
Fonctionnement de Slider
Apache Slider considère toute application comme un ensemble de composants, eux-mêmes des daemons ou fichiers exécutables possédant leurs propres configurations, scripts et fichiers de données. Les composants peuvent avoir une ou plusieurs instances. Slider gère les applications par le biais des instances de composants.
Afin de gérer les instances de composants des applications, Slider lance un application master YARN pour chaque instance. Ensuite, Slider peut allouer ou redistribuer des ressources, mais aussi démarrer ou arrêter une instance d'application. Pour ce faire, il est possible de se baser sur la requête de l'administrateur d'application via le client Slider ou des préemptions de programmation des ressources.