1atelier 1 - Installation Hadoop - V23-24

Atelier 1 : Installation et configuration de
l’environnement de Travail
AU : 2023-2024
Création d’une machine virtuelle « UBUNTU » et installation Hadoop
Enseignant : ZOUARI Moez

Table des matières
Table des matières

Création d’une machine virtuelle _________________________________________________ 1
Installation UBUNTU __________________________________________________________ 1
Installation de Hadoop ________________________________________________________ 2
Configuration Hadoop _________________________________________________________ 5
Pg. 01 Atelier 1: Installation de Hadoop
1. Virtual Box est

un logiciel de
Création d’une machine virtuelle
virtualisation pour
PC et MAC qui
Téléchargement
permet d'exécuter 1. Télécharger la derniere version du programme Virtual Box
plusieurs
systèmes https://www.virtualbox.org/wiki/Downloads
d'exploitation au
même instant sur Nouvelle machine
la même
2. Créer une machine virtuelle avec la configuration suivante :
machine.
• Nom : hadoop
• Type de système : Ubuntu
• 2 CPU (Au minimum)
• 4GB RAM (Au minimum)
• 40 GB HDD (Au minimum)
Accès à Internet
3. Utiliser l’option NAT pour se connecter à Internet à partir de votre machine virtuelle.
Installation UBUNTU
Téléchargement
1. Télécharger la dérnière version LTS de « UBUNTU Desktop»
https://ubuntu-fr.org/telechargement
Installation
2. Installer « UBUNTU »
3. Monter l’image iso sur le CD Virtuel de machine virtuelle créée et démarrer le
système
4. Pendant l’installation spécifier les données suivantes :
• Nom de Machine : hadoop
• User: hadoop
• Password : hadoop
Affichage correcte
Pour avoir un affichage sur tout l’écran, veillez Retirer l’image du CD d’installation puis
installer les « adds-on » du système invité pour avoir un affichage correct.
Menu Péripfériques/insérer l’image CD …/…
Puis suivre les étapes
Installation de Hadoop
Installation des packages importants et JAVA JDK
• Mettre à jour « package repository » :
$ sudo apt-get update

• Quelques outils à installer en plus
$ sudo apt-get install build-essential uuid-dev autoconf rsync

$ sudo apt-get install aptitude
• Choix e version et installation de Java :
Chercher la version de java adéquate compatible avec la version de hadoop à installer.

Consulter le lien suivant :
https://cwiki.apache.org/confluence/display/HADOOP/Hadoop+Java+Versions
Installer openjdk
$ sudo aptitude search openjdk-8

Ou
$ sudo aptitude search openjdk-11
Puis
$ sudo apt-get install openjdk-8-jdk
Vérifier la version installée
$ javac -version
Récupérer le chemin d’installation de java :
$ update-java-alternatives -l
Editer le fichier .bashrc et mettre à jour la variable d’invironnement « JAVA_HOIME ».
$gedit $HOME/.bashrc
Ajouter les deux lignes suivantes à la fin puis enregistrer ( Le chemin doit être
récupéré à partir du résultat de la commande : « $ update-java-alternatives -l » et
attention aux majuscules)
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-amd64
export PATH=$PATH:$JAVA_HOME
ré-exécuter le script « .bashrc »
$ source .bashrc
Installation et configuration SSH
• Installation du Serveur SSH
$ sudo apt-get install openssh-server

• Création clé RSA
$ ssh-keey ygen -t rsa -P "" (juste taper ma touche “entrée” quand on demande le
nom du fichier)
$ cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys
$ chmod 0600 /home/hadoop/.ssh/authorized_keys
• Tester la connectivité
$ssh localhost
$ logout
Téléchargement de Hadoop
• Télécharger une version stable de Hadoop (la dernière de préférable).
Consulter le lien : https://dlcdn.apache.org/hadoop/common/stable/
• Extraire le fichier
$tar -xzf hadoop-3.3.6.tar.gz
Configuration Hadoop
MAJ des variables d’environnement : « PATH », …
• Editer le fichier « .bashrc »
$ gedit .bashrc
• Ajouter les lignes suivantes à la fin du fichier ( Changer les chemins si

nécéssaire) :
export HADOOP_HOME=$HOME/hadoop-3.3.6
export PATH=$PATH:$HADOOP_HOME/bin : =$PATH:$HADOOP_HOME/sbin
• Réexécuter le script .bashrc :
$ source $HOME/.bashrc
Mise à jour des fichiers de configuration de Hadoop

• Pour configurer Hadoop, il faut fixer des valeurs pour les propriétés des
fichiers XML dédiés.
Mettre à jour les fichiers suivants en ajoutant/modifiant les lignes mentionnées ci-
après : ( NB : On peut récupérer une copie des fichiers de l’enseignant pour éviter des
erreurs de saisie. )
Fichier Hadoop-env.sh
…
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-amd64
…
export HADOOP_CONF_DIR=${HADOOP_CONF_DIR:-"/home/hadoop/hadoop-
3.3.6/etc/hadoop"}
…
export HADOOP_OS_TYPE=${HADOOP_OS_TYPE:-$(uname -s)}
…
Fichier core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/hadooptmpdata</value>
</property>
</configuration>
Fichier hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>file:///home/hadoop/hdfs/namenode</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>file:///home/hadoop/hdfs/datanode</value>
</property>
</configuration>
Fichier yarn-site.xml
<configuration>

<property>
<name>mapreduceyarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
Fichier mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
<property>
<name>mapreduce.application.classpath</name>
<value>$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*,$HADOOP_MAPRED
_HOME/share/hadoop/mapreduce/lib/*</value>
</property>
</property>
</configuration>
Mise en marche et test de Hadoop

Formatage / Initialisation de HDFS
$hadoop namenode -format

$hadoop datanode -format
• Vérifier la création d’un dossier hdfs dans le dossier spécifié dans les fichier
de configuration hdfs-site.xml:
<property>
<name>dfs.name.dir</name>
<value>file:///home/hadoop/hdfs/namenode</value>
</property>
Lancement des démons Hadoop
$start-all.sh
Vérification des démons Hadoop
$jps

1atelier 1 - Installation Hadoop - V23-24

Transféré par

Droits d'auteur :

Formats disponibles

1atelier 1 - Installation Hadoop - V23-24

Transféré par

Informations du document

Titre original

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

1atelier 1 - Installation Hadoop - V23-24

Transféré par

Droits d'auteur :

Formats disponibles

Atelier 1 : Installation et configuration de

Création d’une machine virtuelle « UBUNTU » et installation Hadoop

Enseignant : ZOUARI Moez

Table des matières

1. Virtual Box est

Menu Péripfériques/insérer l’image CD …/…

Puis suivre les étapes

• Mettre à jour « package repository » :

$ sudo apt-get update

• Quelques outils à installer en plus

$ sudo apt-get install build-essential uuid-dev autoconf rsync

• Choix e version et installation de Java :

Chercher la version de java adéquate compatible avec la version de hadoop à installer.

$ sudo aptitude search openjdk-8

Vérifier la version installée

Récupérer le chemin d’installation de java :

Editer le fichier .bashrc et mettre à jour la variable d’invironnement « JAVA_HOIME ».

ré-exécuter le script « .bashrc »

Installation et configuration SSH

• Installation du Serveur SSH

$ sudo apt-get install openssh-server

• Télécharger une version stable de Hadoop (la dernière de préférable).

Consulter le lien : https://dlcdn.apache.org/hadoop/common/stable/

$tar -xzf hadoop-3.3.6.tar.gz

• Editer le fichier « .bashrc »

• Ajouter les lignes suivantes à la fin du fichier ( Changer les chemins si

• Réexécuter le script .bashrc :

Mise à jour des fichiers de configuration de Hadoop

Mise en marche et test de Hadoop

$hadoop namenode -format

Lancement des démons Hadoop

Vérification des démons Hadoop

Vous aimerez peut-être aussi