大數(shù)據(jù)培訓(xùn)Hadoop偽分布式運行模式啟動HDFS并運行MapReduce程序
4.2 偽分布式運行模式
4.2.1 啟動HDFS并運行MapReduce程序
- 分析
?????? （1）配置集群
?????? （2）啟動、測試集群增、刪、查
?????? （3）執(zhí)行WordCount案例
- 執(zhí)行步驟
（1）配置集群
????????????? （a）配置：hadoop-env.sh
Linux系統(tǒng)中獲取JDK的安裝路徑：
[atguigu@ hadoop101 ~]# echo $JAVA_HOME
/opt/module/jdk1.8.0_144
修改JAVA_HOME 路徑：
export JAVA_HOME=/opt/module/jdk1.8.0_144
（b）配置：core-site.xml
|
<!-- 指定HDFS中NameNode的地址 --> <property> <name>fs.defaultFS</name> ??? <value>hdfs://hadoop101:9000</value> </property>
<!-- 指定Hadoop運行時產(chǎn)生文件的存儲目錄 --> <property> ?? <name>hadoop.tmp.dir</name> ?? <value>/opt/module/hadoop-2.7.2/data/tmp</value> </property> |
（c）配置：hdfs-site.xml
|
<!-- 指定HDFS副本的數(shù)量 --> <property> ?? <name>dfs.replication</name> ?? <value>1</value> </property> |
（2）啟動集群
（a）格式化NameNode（第一次啟動時格式化，以后就不要總格式化）
[atguigu@hadoop101 hadoop-2.7.2]$ bin/hdfs namenode -format
????????????? （b）啟動NameNode
[atguigu@hadoop101 hadoop-2.7.2]$ sbin/hadoop-daemon.sh start namenode
????????????? （c）啟動DataNode
[atguigu@hadoop101 hadoop-2.7.2]$ sbin/hadoop-daemon.sh start datanode
（3）查看集群
????????????? （a）查看是否啟動成功
[atguigu@hadoop101 hadoop-2.7.2]$ jps
13586 NameNode
13668 DataNode
13786 Jps
注意：jps是JDK中的命令，不是Linux命令。不安裝JDK不能使用jps
????????????? （b）web端查看HDFS文件系統(tǒng)
http://hadoop101:50070/dfshealth.html#tab-overview
注意：如果不能查看，看如下帖子處理
http://www.cnblogs.com/zlslch/p/6604189.html
????????????? （c）查看產(chǎn)生的Log日志
????????????? ??說明：在企業(yè)中遇到Bug時，經(jīng)常根據(jù)日志提示信息去分析問題、解決Bug。
當前目錄：/opt/module/hadoop-2.7.2/logs
[atguigu@hadoop101 logs]$ ls
hadoop-atguigu-datanode-hadoop.atguigu.com.log
hadoop-atguigu-datanode-hadoop.atguigu.com.out
hadoop-atguigu-namenode-hadoop.atguigu.com.log
hadoop-atguigu-namenode-hadoop.atguigu.com.out
SecurityAuth-root.audit
[atguigu@hadoop101 logs]# cat hadoop-atguigu-datanode-hadoop101.log
（d）思考：為什么不能一直格式化NameNode，格式化NameNode，要注意什么？
[atguigu@hadoop101 hadoop-2.7.2]$ cd data/tmp/dfs/name/current/
[atguigu@hadoop101 current]$ cat VERSION
clusterID=CID-f0330a58-36fa-4a2a-a65f-2688269b5837
[atguigu@hadoop101 hadoop-2.7.2]$ cd data/tmp/dfs/data/current/
clusterID=CID-f0330a58-36fa-4a2a-a65f-2688269b5837
?
注意：格式化NameNode，會產(chǎn)生新的集群id,導(dǎo)致NameNode和DataNode的集群id不一致，集群找不到已往數(shù)據(jù)。所以，格式NameNode時，一定要先刪除data數(shù)據(jù)和log日志，然后再格式化NameNode。
（4）操作集群
????????????? （a）在HDFS文件系統(tǒng)上創(chuàng)建一個input文件夾
[atguigu@hadoop101 hadoop-2.7.2]$ bin/hdfs dfs -mkdir -p /user/atguigu/input
????????????? （b）將測試文件內(nèi)容上傳到文件系統(tǒng)上
[atguigu@hadoop101 hadoop-2.7.2]$bin/hdfs dfs -put wcinput/wc.input
? /user/atguigu/input/
????????????? （c）查看上傳的文件是否正確
[atguigu@hadoop101 hadoop-2.7.2]$ bin/hdfs dfs -ls? /user/atguigu/input/
[atguigu@hadoop101 hadoop-2.7.2]$ bin/hdfs dfs -cat? /user/atguigu/ input/wc.input
????????????? （d）運行MapReduce程序
[atguigu@hadoop101 hadoop-2.7.2]$ bin/hadoop jar
share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/atguigu/input/ /user/atguigu/output
?????? ?????? （e）查看輸出結(jié)果
命令行查看：
[atguigu@hadoop101 hadoop-2.7.2]$ bin/hdfs dfs -cat /user/atguigu/output/*
瀏覽器查看，如圖2-34所示
圖2-34 查看output文件
????????????? （f）將測試文件內(nèi)容下載到本地
[atguigu@hadoop101 hadoop-2.7.2]$ hdfs dfs -get /user/atguigu/output/part-r-00000 ./wcoutput/
（g）刪除輸出結(jié)果
[atguigu@hadoop101 hadoop-2.7.2]$ hdfs dfs -rm -r /user/atguigu/output
想要了解跟多關(guān)于大數(shù)據(jù)培訓(xùn)課程內(nèi)容歡迎關(guān)注尚硅谷大數(shù)據(jù)培訓(xùn)，尚硅谷除了這些技術(shù)文章外還有免費的高質(zhì)量大數(shù)據(jù)培訓(xùn)課程視頻供廣大學員下載學習。
