Retour sur la conférence BIG DATA

Je me suis rendu à la conférence BIG DATA PARIS.
Elle a eu lieu du 10 au 11 mars 2015.
Les sujets étaient très intéressants, surtout la deuxième journée.
J’ai pu assister à différentes conférences plus ou moins intéressantes. Pas mal étaient données par des éditeurs et intégrateurs qui étaient à mon sens trop commerciales.
J’ai pu néanmoins assister à des conférences passionnantes:

  • Les données vs le droit donnée par un avocat et une personne de la CNIL
    Un REX du déploiement de CASSANDRA chez Chronopost
    La présentation de Google Cloud Platform

Les slides sont mis à disposition sur le site du salon

Bonne lecture

VirtualBox ne reconnait pas les périphériques USB : quelques astuces pour résoudre ce problème

176619.png Après avoir réinitialisé mon poste sur debian, j’ai installé virtualbox ( version d’oracle ). J’ai eu la mauvaise surprise de ne pas voir mes périphériques USB. Voici les différentes étapes pour résoudre ce problème ( ou pas….)

Installation de l’extension pack

Il faut installer l’extension d’oracle pour que le support de l’USB soit opérationnel.

virualbox_034.png

Installation des extensions dans la vm

Installez les "additions invités" par le menu suivant :

virtualbox_037.png

Vérifier que l’USB est activé

Idem, aller dans les paramètres globaux de virtualbox virtualbox_035.png

Ajout de l’utilisateur dans le groupe vboxusers

Il faut que l’utilisateur soit dans le groupe vboxusers

Avec tout ça, logiquement vos périphériques devraient être reconnus après un redémarrage de la session ( au moins pour la dernière solution )

Installation du driver propriétaire nvidia sur une debian wheezy

J’ai finalement installé le driver propriétaire . J’ai eu quelques freeze. Je suppose que c’est du au driver de la carte graphique.

Voici la manipulation (officielle) que j’ai utilisé pour installer le driver propriétaire.

Pré-requis

Lire la doc Ajouter les dépôt contrib et non-free de wheezy dans le fichier /etc/apt/sources.list

Installation

apt-get install linux-headers-$(uname -r|sed ‘s,^-*-^-*-,,’) nvidia-kernel-dkms nvidia-glx

Cet écran devrait apparaître

Terminal_001.jpg

Appuyer sur OK

Puis

Terminal_002.jpg

Appuyer sur OK

Configuration

Créer ensuite le fichier suivant /etc/X11/xorg.conf.d/20-nvidia.conf avec le contenu :

Et reboot

Depuis je n’ai pas de freeze? Ça arrivera peut être par la suite,l’avenir nous le dira. La seule chose désagréable qui me soit arrivé après , c’est la résolution de la console au boot et après quand je bascule entre les différentes consoles (ex. ALT + F4). Je ne souhaitais pas installer framebuffer car j’ai eu par le passé quelques problèmes avec. Après avoir parcouru le forum debian, j’ai trouvé plusieurs solutions à ce problème.

Dans le fichier /etc/grub.d/00_header Rechercher ce paragraphe

Le transformer comme suit :

Dans le fichier /etc/default/grub

Ajouter ou modifier la ligne

Pour prendre en compte les modifications, lancer la commande suivante

Et enfin, un reboot

Paramétrage d’autofs sur Debian Wheezy

Comme me l’a suggéré Manisblack, au lieu de réaliser les montages NFS au boot, il est préférable dans mon cas de les faire à la demande avec autofs

Installation

Activation

Créer le répertoire racine qui centralisera les ressources NFS d’un serveur

Par exemple dans /mnt

Ajouter la ligne suivante à la fin du fichier /etc/auto.master

Créer le fichier /etc/auto.nfs et ajouter le contenu suivant :

Relancer le service

et ça devrait le faire 🙂

Installation minimale d’une debian pour héberger un système de fichier hadoop

hadoop-logo.jpg Me voila revenu a la case départ. je n’étais pas trop content de l’installation que j’avais effectuée . J’ai donc décidé de partir à zéro et d’ installer une debian et configurer hadoop dessus. Voila en gros les actions que j’ai mené

  1. Installation debian
  2. Installation outils divers
  3. Installation hadoop
  4. Configuration hadoop

Installation debian

Bon je ne vous ferai pas l’affront de vous expliquer comment installer une distribution gnu/linux. J’ai juste installé la distribution sans environnement graphique avec seulement un serveur ssh

Installation outils divers

J’ai installé via apt-get les outils suivants :

  • bzip2
  • vim
  • openjdk-6-jdk
  • openjdk-6-jre

Installation hadoop

J’ai installé hadoop via le package fourni pour debian/ubuntu

Configuration hadoop

modifier le fichier /etc/default/hadoop avec le bon chemin pour la JVM

J’ai également modifié les droits sur certains répertoires

Je sais c’est crade, mais je n’avais pas trop envie de me prendre la tête…

Le paquet hadoop fournit quelques scripts de configuration. Il suffit de lancer la commande suivante

Pour valider on peut lancer la commande suivante

J’ai également copié les fichiers décrits dans mon précédent post qui sont présents dans le répertoire /usr/share/hadoop/templates/conf dans le répertoire /etc/hadoop.

Je les ai ensuite modifié comme dans mon précédente installation.

Et (re) voila une installation hadoop

Configuration minimale d’ Hadoop sur Ubuntu

Je suis en train de me mettre à Hadoop. J’ essaye de l’installer via une vm ubuntu. Voici la configuration minimale que j’ai appliqué. Celle-ci est décrite sur le site d’hadoop et sur le site de yahoo hadoop-logo.jpg

Voici la configuration que j’ai appliqué spécifiquement sur un serveur ubuntu:

Préparatifs

Création d’un utilisateur hadoop-user

Dans le répertoire home de l’utilisateur ( ou ailleurs ), décompresser l’archive Hadoop

Créer les répertoire suivants

Configuration SSH

Configurer la variable d’environnement JAVA_HOME

Configuration Hadoop

Fichier hadoo-env.sh

Renseigner la variable JAVA_HOME

Dans le fichier conf/core-site.xml

Pour information, j’ai spécifié l’adresse IP de ma machine virtuelle 192.168.85.128 dans les fichiers de configuration. Pensez à modifier cette adresse pour l’adapter à votre conifguration

conf/hdfs-site.xml

conf/mapred-site.xml

Formatage de l’espace de stockage hadoop

Démarrage et vérification

Démarrage

lancer la commande suivante :

Vérification

Se connecter via un navigateur sur les sites suivants

Vous pouvez également exécuter le test fourni dans le jar d’exemples

Pour ceux qui ne veulent pas trop se prendre la tête…

Cloudera fournit une vm toute configurée sur son site

Sauvegarde incrémentale du blog

Voici un billet rapide expliquant la procédure que j’ai mise en œuvre pour faire des sauvegardes incrémentales de mon blog, tout du moins la partie WEB ( je n’ai pas la main sur la base de données ). J’effectue la sauvegarde grâce à rsync. Par défaut, cet outil ne supporte pas FTP. On peut néanmoins utiliser curlftpfs qui permet de monter une arborescence FTP dans le système de fichier.

Remarque : J’ai fait ces manipulations sur mon PC ubuntu 11.10 mais c’est reproductible sur toute distribution GNU/LINUX.

Pré-requis

Montage de l’arborescence distante

dans le fichier /etc/fstab, ajouter la ligne suivante:

Pour monter l’arborescence :

Lancement de la sauvegarde

Accéder à des sites utilisant un certificat avec firefox 4

2294144289_a54db90ac5.jpg[1]

J’utilise depuis la première beta firefox 4. Ce dernier est excellent mais nécessite une petite adaptation pour accéder aux sites utilisant un certificat comme celui des impôts.

Je vais prendre pour exemple ce dernier. Si vous essayez de vous connecter à l’espace personnel avec un certificat, vous obtenez le message d’erreur suivant :

Selection_020.png

Après une recherche sur le bugzilla de firefox et sur le wiki, voici la configuration qu’il faut appliquer pour que cela fonctionne:

Selection_019.png

  • Entrer dans la barre d’adresse ‘about:config
  • Cliquer sur promis …
  • Puis rentrer la clé ‘security.ssl.allow
  • Changer la valeur à true en cliquant sur la ligne

Redémarrez firefox et hop vous pouvez aller payer vos impôts 🙂

Perl pour modifier des fichiers « en ligne »

Bon, j’en ai un peu marre de rechercher systématiquement la même commande PERL sur google, donc voici comment remplacer « en ligne » une chaine de caractère par une autre dans un fichier

Exemple :

Voila ca fut bref, mais espérons ca servira à d’autres personnes …

Mise à jour du netbook asus eeepc 1000H vers Lucid Lynx

A l’instar de mon autre ordinateur, j’ai mis à jour le netbook asus eeepc 1000h qui avait Karmic vers Lucid.

img_78131_asus-eee-pc-1000h.jpg

Comme ma dernière maj, tout s’est bien passé. Voici le résumé de la configuration avec l’état pour chaque composant :

Composant Statut Commentaires
CPU OK intel atom
Résolution OK 1024×600
Carte vidéo OK intel
Hibernation OK
ACPI OK
Mise en veille prolongée OK
Disque dur OK ST9160310AS
Carte Ethernet OK
WIFI OK rt2860sta
USB OK
Carte audio OK HDA-Intel – HDA Intel
Bluetooth NOK La connexion à mon téléphone fonctionne
Ports VGA OK Edit : Merci à [Respawner|http://www.respawner.fr/|fr]
Touches spéciales OK
Touchpad OK
Webcam OK Test fait avec cheese

Pour info, voici le résultat de la commande dmesg.

Linux On Laptops