• Table of contents
• HDFS
  • La commande "hadoop fs"
  • Cloudera Manager/WebUI

{{show_solution}}

HDFS¶

La commande "hadoop fs"¶

Les commandes permettant d'interagir avec le système de fichiers distribué d'Hadoop sont similaires à celles des systèmes de fichiers Unix (i.e. ls, cat, mkdir...).

La liste des commandes est obtenue en tapant:

hadoop fs

Nous vous proposons de commencer par découvrir les principales commandes de HDFS:

1. lister les fichiers présents dans votre home HDFS (ne spécifiez pas de chemin) et ceux présents sous la racine de HDFS.
2. créer un répertoire dans votre home HDFS.
3. télécharger dans ce répertoire HDFS le fichier sample.txt et le répertoire all qui sont sur le système de fichier local, sous /home/cloudera/workspace/data.
4. déplacer le fichier sample.txt dans le répertoire all sur HDFS, puis déplacer ce répertoire dans votre home sur HDFS.
5. afficher le contenu du fichier sample.txt qui est sur HDFS.
6. télécharger localement le fichier "1901.gz" qui est dans le répertoire all sur HDFS..
7. supprimer le fichier sample.txt de HDFS, ainsi que le répertoire que vous avez créé au début de cet exercice.

{{start_solution}}

1. hadoop fs -ls
hadoop fs -ls /
2. hadoop fs -mkdir monRepertoire
3. hadoop fs -put file:///home/cloudera/workspace/data/sample.txt monRepertoire
hadoop fs -put file:///home/cloudera/workspace/data/all monRepertoire
4. hadoop fs -mv monRepertoire/sample.txt monRepertoire/all
hadoop fs -mv monRepertoire/all .
5. hadoop fs -cat all/sample.txt
6. hadoop fs -get all/1901.gz
7. hadoop fs -rm all/sample.txt
hadoop fs -rmdir monRepertoire {{end_solution}}

Cloudera Manager/WebUI¶

Hadoop fournit nativement une interface web pour explorer ses caractéristiques. Nous allons passer par le Cloudera Manager pour y accéder.

pkill firefox
firefox &

• connectez vous en admin:admin
• cliquez sur le service hdfs1, NameNode Web UI
• chercher la localisation (quels serveurs) des blocs du fichiers sample.txt