Installation de la suite ELK sur une DEBIAN

Bon ça faisait pas mal de temps que je n’avais pas posté un article. Je travaille actuellement sur les moteurs de recherche. Je suis actuellement en train de monter une architecture ELK (ELASTICSEARCH, LOGSTASH, KIBANA) pour pouvoir gérer l’insertion au fil de l’eau ou en BATCH de données dans le moteur de recherche ELASTICSEARCH.

Architecture et composants

L’architecture typique est la suivante :

Screen_Shot_10-29-14_at_04.08_PM.PNG

On y retrouvera les éléments suivants :

Agents (shipper)

C’est un agent LOGSTASH qui prend désormais la place d’un ETL. Dans mon cas, il scanne un répertoire pour la présence et la modification de fichiers et les envoie au moteur de recherche ou au buffer

Buffer ou le Broker

C’est un cache permettant de découpler les envois de fichiers du moteur de recherche. La base NoSQL REDIS est la plus utilisée pour ce rôle

Indexer /Moteur de recherche

J’utilise ELASTICSEARCH pour ceci

Interface graphique

On utilisera le plugin Kibana d’ ELASTICSEARCH

Je décrirai dans cet article l’installation de LOGSTASH et ELASTICSEARCH

Prérequis

Avoir installé un JDK (version 7 minimum)

Installation de LOGSTASH et ELASTICSEARCH

J’utilise les repository décrits sur le site d’elasticsearch

Lancer la commande suivante

Puis dans le fichier /etc/apt/sources.list.d/elasticsearch.list

Lancer les commandes suivantes

Installation de KIBANA

Après avoir téléchargé l’archive, la placer dans le répertoire /var/www

Assigner l’ URL d’elasticsearch

Redémarrer apache ( pas obligatoire, mais ça ne fait pas de mal….)

Enfin on peut tester la connexion au portail KIBANA Screen_Shot_10-30-14_at_09.54_AM.PNG

Références

http://blog.xebia.fr/2013/12/12/logstash-elasticsearch-kibana-s01e02-analyse-orientee-business-de-vos-logs-applicatifs/

http://www.logstashbook.com/

One thought to “Installation de la suite ELK sur une DEBIAN”

  1. Bonjour,

    Merci pour cet article, A quand un article détaillant l’installation d’un serveur d’affichage de logs utilisant Elastic Search / Logstash et Kibana ? 🙂

    En tout cas c’est un plaisir de vous lire !

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *