Configuration minimale d’ Hadoop sur Ubuntu

Je suis en train de me mettre à Hadoop. J’ essaye de l’installer via une vm ubuntu. Voici la configuration minimale que j’ai appliqué. Celle-ci est décrite sur le site d’hadoop et sur le site de yahoo hadoop-logo.jpg

Voici la configuration que j’ai appliqué spécifiquement sur un serveur ubuntu:

Préparatifs

Création d’un utilisateur hadoop-user

Dans le répertoire home de l’utilisateur ( ou ailleurs ), décompresser l’archive Hadoop

Créer les répertoire suivants

Configuration SSH

Configurer la variable d’environnement JAVA_HOME

Configuration Hadoop

Fichier hadoo-env.sh

Renseigner la variable JAVA_HOME

Dans le fichier conf/core-site.xml

Pour information, j’ai spécifié l’adresse IP de ma machine virtuelle 192.168.85.128 dans les fichiers de configuration. Pensez à modifier cette adresse pour l’adapter à votre conifguration

conf/hdfs-site.xml

conf/mapred-site.xml

Formatage de l’espace de stockage hadoop

Démarrage et vérification

Démarrage

lancer la commande suivante :

Vérification

Se connecter via un navigateur sur les sites suivants

Vous pouvez également exécuter le test fourni dans le jar d’exemples

Pour ceux qui ne veulent pas trop se prendre la tête…

Cloudera fournit une vm toute configurée sur son site

Mon passage sur Lucid

Voila la nouvelle version d’UBUNTU qui arrive, je vais donc de ce pas rejoindre la horde de blogueurs/utilisateurs qui vont décrire leur installation/maj 🙂

warning.pngTout d’abord, petit rappel d’usage : à ce jour, la version 10.04 d’ubuntu est encore en version RELEASE CANDIDATE. Vous l’installez à vos risques et périls

Mise à jour

Lancement de la maj :

C’est l’une des premières fois qu’une maj se passe super bien et ne m’oblige pas à faire une réinstallation 🙂 .

Actions menées après la mise à jour

Dépôts

Après l’installation j’ai réactivé les dépôts medibuntu et partner

Problème de la carte son M -audio audiophile

Bug sur la carte son ( encore ). Je vais tâcher de faire un patch et publier un rapport de bug sur launchpad

JDK/JRE/ Plugin java

Pour plus de stabilité, je préfère utiliser le JAVA de SUN, j’ai donc effectué les actions suivantes:

  1. Suppression d’ openjdk et du plugin icedtea par la même occasion ( faites une recherche dans synaptic de icedtea et supprimez ce qui est installé)
  2. Ajout du plugin JAVA de sun et du JDK ( qui sont présents dans le dépôt partner)

Installer et configurer Gnome-SHELL comme wm par défaut

Je suis passé tout récemment sur lucid lynx et maj mon matériel. J’ai donc eu envie d’avoir plus d’effets tout aussi inutiles qu’indispensables sur mon bureau 🙂

Me voila donc à essayer l’un des éléments du futur troll gnome 3.0 : gnome-shell

warning.pngPetit rappel d’usage : Gnome-SHELL est encore expérimental – à mon humble avis – il peut survenir des erreurs et mettre à mal votre système ( freeze / perte des données de session gnome…)

Installation

Exécution

Pour le tester

Pour revenir en arrière

Gnome-shell comme window manager par défaut

Soit vous reprenez la méthode décrite dans la doc ubuntu-fr, soit vous modifiez les clés suivantes dans le registre gconf ( je préfère cette version car elle évite un démarrage préalable de compiz )

Démarrez gconf-editor , puis renseigner les valeurs suivantes dans la clé /desktop/gnome/applications/window_manager ( current et default ) :

Selection_004.png

Il suffit de redémarrer la session et gnome-shell devrait remplacer metacity 🙂

m-audio audiophile24/96 et lucid lynx

Mon PC fraichement installé avec le koala, me voila dans l’idée de faire fonctionner ma carte son m-audio audiophile 24/96.Ce qui semblait fonctionner sans problème sous Jaunty ne fonctionnait pas du tout avec karmic 🙁 J’ai eu précédemment un gros coup de bol. Après un test de son, je n’avais aucune carte son détectée via aplay,pulse audio ou n’importe quel outil.

J’ai d’abord cru à un problème d’alsa ou lié à la version de pulseaudio . J’ai donc mis à jour mon OS favori vers la version alpha2 de lucid lynx et la toujours le même problème (j’en ai pas eu d’autres, c’était déjà ça …)

Voici ce que j’ai effectué comme manipulation

warning.png ATTENTION : je suis passé à une version alpha et je modifie un des fichiers de configuration. Si vous reproduisez cette manipulation, ca peut provoquer chez vous une grosse instabilité de votre système.

Pour cette erreur, la seule manipulation que j’ai trouvé à faire était de …. changer la carte son de slot PCI. Je sais c’est plutôt brutal, mais ca fonctionne.

Après redémarrage, ma carte était reconnue par le système mais ne produisait pas de son.

Pulseaudio ne connaissait pas les sorties analogiques. J’ai donc suivi ce post et ajouté les lignes suivantes dans la section PCM.FRONT du fichier /usr/share/alsa/cards/ICE1712.conf

Après un redémarrage, il ne reste plus qu’à sélectionner la bonne sortie ( analogique dans mon cas) 🙂

selectionsortieanalogique.png

Bon, j’espère que cette manipulation pourra servir à d’autres personnes. Franchement, je ne pense qu’il soit nécessaire de passer sous lucid lynx.Je n’ai pas testé la dernière configuration sous Karmic. Si il y en a qui sont dans le même cas, n’hésitez pas à l’indiquer dans les commentaires 🙂

Installation de mon nouveau PC sur Karmic Koala

J’ai décidé à changer de matériel et faire évoluer mon pc. Pour avoir une trace écrite de toute la configuration que j’effectue et si possible mettre le moins de temps possible à réinstaller mon PC, je me suis décidé à faire une doc ( si si, ca m’arrive ). Il existe quelques actions que j’ai noté dans un précédent post, que je ne reprendrais pas ou ne ferais que référence.

[1]

warning.pngAttention, certaines manipulations ne sont pas standard et peuvent altérer la stabilité de votre système

Matériel

Rien de bien exceptionnel

  • Carte mère : ASUS P5Q DELUXE
  • CPU : Intel Core 2 Quad Q9400
  • Carte son m-audio audiophile 24/96
  • Carte graphique geforce 210

Tout est assez bien reconnu. Seule la carte son m’a posé problème .

carte son

m-audio-audiophile-2496.1227993.jpg

Alors la, ce fut un grand mystère et moment de solitude… j’ai désactivé la carte son de la carte mère via le bios après l’installation. Après ca, pulseaudio ne me trouvait aucun périphérique 🙁 Quelques reboots plus tard, ma carte audiophile était reconnue. Je ne sais pas du tout pourquoi mais ca ma donné envie de découvrir le fonctionnement de pulseaudio (question de survie…)

Pour ce qui est du séquenceur midi, je n’ai pas encore testé. A vori si je peux utiliser le séquenceur natif ou timidity ( je préférerai le premier choix). Si la configuration s’avère un peu compliquée, elle finira sans doute dans un prochain post.

Installation des logiciels

Volontairement, je ne décrirais pas en détail la liste des paquets installés car je l’ai décrit dans un précédent article qui est assez récent.

Voici en substance, la commande que j’ai lancé :

Installation de la libdvdcss

La souris

souris de type MX100. je n’arrive toujours pas à faire fonctionner le clic via la molette alors que ca fonctionnait sur mon ancien pc J’ai suivi la documentation et un très bon post de motard14 sur le forum ubuntu-fr. Voila la configuration présente dans mon fichier $HOME/.xbindkeysrc

Pensez à rajouter xbindkeys dans les logiciels à lancer en début de session !

Configuration de SSH

J’ai désactivé le login SSH pour l’utilisateur root :

Dans le fichier /etc/ssh/sshd_config

Logiciels tiers

Installation de virtualbox

j’ai installé la version PUEL ( elle n’est pas libre mais j’ai besoin du support USB) dont la procédure est décrite ici

Vim

Voici ce que j’ai effectué pour installer et personnaliser VIM.

Thunderbird & Songbird

J’ai installé thunderbird 3 ainsi que songbird dans le répertoire /usr/local. Comme indiqué dans un de mes précédents posts, j’ai ajouté thunderbird dans le menu de l’indicator-applet et inséré les éléments correspondants dans le menu principal

Pour thunderbird, j’ai suivi le chapitre correspondant à ma version d’OS présent dans la doc

Ajouter thunderbird dans la liste des applications de l’ indicator-applet

R Par défaut, thunderbird n’est pas présent dans les applications disponibles via l’indicator-applet.

Pour information, j’utilise THUNDERBIRD 3 installé dans le répertoire /usr/local/thunderbird. Cette manipulation est également possible avec THUNDERBIRD 2 présent dans les dépôts Voici la manipulation à effectuer :

Dans le fichier crée mettre la référence suivante : /usr/local/thunderbird/thunderbird.desktop La créer:

Et mettre les valeurs suivantes :

Ça devrait être bon maintenant 🙂

Capture_thunderbird_indicator_applet.png

De la difficulté de simplifier un logiciel libre ou pire une distribution GNU/LINUX

Je vais essayer de revenir en toute modestie sur la breaking news du moment : THE GIMP ne serait peut être pas présent par défaut dans Lucid.

Déjà il faut relativiser, cet outil (fantastique, je l’utilise régulièrement pour le traitement de mes photos) sera toujours dans les dépôts. Il sera toujours possible de l’installer, moyennant une lecture rapide de la documentation et une installation via Ubuntu Software Center ou APT-URL. Chose qui n’est pas très ardue, même pour les débutants.

Car la, on touche le problème. A qui s’adresse Ubuntu? Si on en croit la page principale d’ubuntu-fr, c’est en partie pour les utilisateurs lambda qui souhaitent avoir entre autres une alternative facile à utiliser.

Ubuntu est une distribution GNU/Linux qui réunit stabilité et convivialité. Elle s’adresse aussi bien aux particuliers qu’aux professionnels, débutants ou confirmés qui souhaitent disposer d’un système d’exploitation libre et sécurisé.

Personnellement, je suis passé de DEBIAN à UBUNTU LINUX par souhait d’évangéliser de fournir cette même alternative à ma famille. DEBIAN était pour eux trop complexe. UBUNTU me parraissait un bon compromis à la puissance et la facilité d’administration de DEBIAN et à un OS simple à utiliser pour des non geeks.

Revenons à nos moutons. Dès que j’ai lu cette news, j’ai immédiatement pensé à l’évolution de firefox. T. NITOT expliquait dans un de ces articles que la communauté MOZILLA a crié au scandale dès que l’idée de simplifier mozilla et d’en faire un produit très simple et accessible était apparue. Si j’en crois le site OMG, les reproches faits à THE GIMP sont les suivants :

* the general user doesn’t use it

Je ne suis pas trop d’accord la dessus. La retouche photo est de plus en plus utilisée, même par des non professionnels. Certes les 2/3 du temps, ce sont des logiciels comme picasa qui sont utilisés mais

* its user-interface is too complex

Elle devrait être simplifié pour la 2.8. Mais bon je peux le comprendre, si on n’a pas un minimum de connaissances en retouche photo, on peut être largué dans les calques et autres brosses

* it’s an application for professionals

Ben la, je suis en désaccord. Tous les professionnels que je cotoie dans le métier du web utilisent photoshop.

* desktop users just want to edit photos and they can do that in F-Spot

Perso je préfère picasa mais c’est vrai que F-SPOT peut remplir cette fonctionnalité. Il faudrait cependant le faire évoluer pour qu’il soit plus réactif avec les grosses volumétries…

* it’s a photoshop replacement and photoshop isn’t included by default in Windows…

MDR.: Rien n’est inclus par défaut dans windows…

* it takes up room on the disc

No comment…

Conclusion

Autant j’étais contre la suppresion de pidgin, je suis plutôt pour la suppression dans l’installation standard. Je vois mal la majorité des personnes que j’ai migré sur UBUNTU utiliser THE GIMP mais plutôt les outils intégrés de F-SPOT. L’installation de The GIMP nécessitera peut être des meta paquets qui rendront encore plus simples l’installation de The gimp et des plugins utiles,mais bon nous n’y sommes pas …

Installation de Karmic Koala sur un ASUS EEEPC 1000H

Pour mon premier post sur ma nouvelle plateforme de blog (cf. blog.touret.info ), voici un rapport d’installation d’ Ubuntu Jaunty 9.10 sur le netbook ASUS EEEPC 1000H img_78131_asus-eee-pc-1000h.jpg

Tout d’abord, j’avais ma femme disposait de ce netbook depuis le mois de mai, mais vu les problèmes de connexion WPA récurrents, je préférai attendre la version 9.10.

Me voici donc revenu et prêt à installer la version UNR.

Et bien franchement, ce n’est même pas drôle. Tout fonctionne ‘out of the box‘. Il suffit de le vérifier avec l’image montée sur une clé USB pour être bluffé.

Pour la forme, je met un léger rapport de compatibilité qui viendra, j’espère compléter celui de la documentation officielle.

Composant Statut Commentaires
CPU OK
Résolution OK
Carte vidéo OK
Hibernation OK
ACPI OK
Mise en veille prolongée OK
Disque dur OK
Combo graveur OK
Carte Ethernet OK
WIFI OK
USB OK
Carte audio OK
Bluetooth NOK
Ports VGA A tester
Touches spéciales OK
Webcam OK

Linux On Laptops

(Dé) vérouiller les panneaux sur ubuntu

Un petit topic pour (dé-) verrouiller simplement les panels ou panneaux sur ubuntu.

Une exemple avec un clic droit sur le panel du bas:

panneauBloque.png

J’ai pour cela utilisé Ubuntu tweak car je n’ai pas trop voulu me prendre la tête à rechercher la clé sur gconftool. Si vous n’avez pas installé ubuntu tweak ( menu applications > système ) allez sur cette page, c’est clairement expliqué.

Petit rappel d’usage : warning.png L’application Ubuntu Tweak est un moyen alternatif de personnalisation du bureau. Il peut corrompre votre système Ubuntu ( ici Jaunty 9.04)

Après lancement de l’application il faut aller sur Bureau > Gnome puis décocher l’option « Vérouillage complet du panneau »

Capture-Ubuntu_Tweak.png

Immédiatement, vous verrez les options suivantes lors d’un clid droit sur les panels haut et bas :

panneauModifiable.png

De nouveau joyeux :-)

jaunty Bon, je l’accorde, le titre de ce billet, laisserait à supposer que la faim dans le monde a disparu, qu’ HADOPI serait abandonné ou tout autre chose de bien. Mais non, je vais faire suite à mon dernier billet sur ma transition à Jaunty Jackalope.

warning.pngAttention: certaines manipulations peuvent endommager votre système et/ou altérer les performances

Configuration

Ajout des plugins et codecs nécessaires

Ajout du dépot medibuntu

Installation des paquets suivants

Suppression de brasero

Voir mon précédent message et le thread sur le forum ubuntu associé.

J’ai mis à jour la description du bug sur launchpad. Attendons pour voir si je pourrais réutiliser brasero un jour…

Création d’un serveur SSH

Passage d’une partition ext3 en ext4

Je me suis loupé dans le choix du système de fichier de ma partition home. Que cela ne tienne, on peut le changer à chaud 🙂 : Après une reconnexion en mode rescue

Puis modifier la ligne correspondante dans le fichier /etc/fstab.

sudo

J’ai reconfiguré sudo pour que les administrateurs n’aient pas à taper leur mot de passe lors du lancement de sudo. Je sais, ce n’est pas très sécurisé mais, vu que l’utilisation de mon PC est restreinte en terme d’utilisateurs, ca ne gêne pas trop.

Installation carte son

installation lirc

dans le fichier /etc/lirc/hardware.conf

Ajouter dans le fichier /etc/lirc/lircd.conf la définition de la télécommande décrite dans ce billet.

Configuration alsa

Créer le fichier /etc/modprobe/alsa-custom avec le contenu suivant:

Logiciels supplémentaires

Pour la musique

J’ai installé les logiciels suivants :

Pour l’instant je reste sous rhythmbox. Amarok2 a l air assez lourd

Utilitaires

Gnome do

Hellanzb

J’ai aussi installé lottanzb

Gravure

Vu que je n’ai plus brasero, je vais continuer avec le graveur de nautilus et k3b

htop

Screen

Imagerie

Gestion du scanner

Personnalisation de nautilus

Picasa

Oui je sais ce n’est pas libre, mais j’adore ce logiciel

Bon après tout cas, j’ai a peu près un système fonctionnel. Reste plus qu’à m’amuser 😀