Configuration minimale d’ Hadoop sur Ubuntu

Je suis en train de me mettre à Hadoop. J’ essaye de l’installer via une vm ubuntu. Voici la configuration minimale que j’ai appliqué. Celle-ci est décrite sur le site d’hadoop et sur le site de yahoo hadoop-logo.jpg

Voici la configuration que j’ai appliqué spécifiquement sur un serveur ubuntu:

Préparatifs

Création d’un utilisateur hadoop-user

Dans le répertoire home de l’utilisateur ( ou ailleurs ), décompresser l’archive Hadoop

Créer les répertoire suivants

Configuration SSH

Configurer la variable d’environnement JAVA_HOME

Configuration Hadoop

Fichier hadoo-env.sh

Renseigner la variable JAVA_HOME

Dans le fichier conf/core-site.xml

Pour information, j’ai spécifié l’adresse IP de ma machine virtuelle 192.168.85.128 dans les fichiers de configuration. Pensez à modifier cette adresse pour l’adapter à votre conifguration

conf/hdfs-site.xml

conf/mapred-site.xml

Formatage de l’espace de stockage hadoop

Démarrage et vérification

Démarrage

lancer la commande suivante :

Vérification

Se connecter via un navigateur sur les sites suivants

Vous pouvez également exécuter le test fourni dans le jar d’exemples

Pour ceux qui ne veulent pas trop se prendre la tête…

Cloudera fournit une vm toute configurée sur son site

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *