新手求问hadoop的安装问题

supheros · **註冊時間:** 2013-10-20, 16:48 **文章:** 11

小弟新手，想在一台电脑上配置伪分布式环境来学习。但是遇到了一些问题，求大家帮助。
下载安装了hadoop0.20.2，配置好了过后，执行./hadoop namenode -format没有任何提示！然后运行start-all.sh，貌似正常开启了，但是stop-all.sh却不正确。是不是./hadoop namenode -format没有执行成功呀？求救帮助

代碼:

root@huranjie-IdeaPad-Y430:/usr/hadoop-0.20.2/bin# ./hadoop namenode -format
root@huranjie-IdeaPad-Y430:/usr/hadoop-0.20.2/bin# ./hadoop namenode -format
root@huranjie-IdeaPad-Y430:/usr/hadoop-0.20.2/bin# ./hadoop namenode -format
root@huranjie-IdeaPad-Y430:/usr/hadoop-0.20.2/bin# ./start-all.sh 
starting namenode, logging to /usr/hadoop-0.20.2/bin/../logs/hadoop-root-namenode-huranjie-IdeaPad-Y430.out
localhost: starting datanode, logging to /usr/hadoop-0.20.2/bin/../logs/hadoop-root-datanode-huranjie-IdeaPad-Y430.out
localhost: starting secondarynamenode, logging to /usr/hadoop-0.20.2/bin/../logs/hadoop-root-secondarynamenode-huranjie-IdeaPad-Y430.out
starting jobtracker, logging to /usr/hadoop-0.20.2/bin/../logs/hadoop-root-jobtracker-huranjie-IdeaPad-Y430.out
localhost: starting tasktracker, logging to /usr/hadoop-0.20.2/bin/../logs/hadoop-root-tasktracker-huranjie-IdeaPad-Y430.out
root@huranjie-IdeaPad-Y430:/usr/hadoop-0.20.2/bin# ./stop-all.sh 
no jobtracker to stop
localhost: stopping tasktracker
no namenode to stop
localhost: no datanode to stop
localhost: no secondarynamenode to stop
root@huranjie-IdeaPad-Y430:/usr/hadoop-0.20.2/bin#

三个配置文件如下

代碼:

root@huranjie-IdeaPad-Y430:/usr/hadoop-0.20.2/conf# cat core-site.xml 
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
 
<!-- Put site-specific property overrides in this file. -->
 
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/tmp/hadoop/hadoop-${user.name}</value>
</property>
</configuration>

代碼:

root@huranjie-IdeaPad-Y430:/usr/hadoop-0.20.2/conf# cat hdfs-site.xml 
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
 
<!-- Put site-specific property overrides in this file. -->
 
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>

代碼:

root@huranjie-IdeaPad-Y430:/usr/hadoop-0.20.2/conf# cat mapred-site.xml 
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
 
<!-- Put site-specific property overrides in this file. -->
 
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>

jazz · **註冊時間:** 2009-11-09, 19:52 **文章:** 2897

設定檔看起來沒問題。可否提供執行 jps 指令的結果，以及
/usr/hadoop-0.20.2/logs/hadoop-root-namenode-huranjie-IdeaPad-Y430.log 的內容呢？

另外，想請問您使用的 Linux 是哪個系列呢？CentOS? Ubuntu？RHEL？SuSE？
Ubuntu 12.04 系列我有寫 script 給初學者用，不過執行腳本的身份需要有 sudo 權限。

代碼:

wget http://hadoop.nchc.org.tw/~jazz/temp/install-hadoop-0.20.2-precise
chmod a+x install-hadoop-0.20.2-precise
./install-hadoop-0.20.2-precise

其他 Hadoop 版本請參考 http://hadoop.nchc.org.tw/~jazz/temp/

若想是用 Hadoop 2.0 最新版本的，我也有使用 Apache BigTop 設計了一個無人值守自動安裝光碟。
用虛擬機器模擬安裝流程的實驗步驟可參考：http://trac.nchc.org.tw/cloud/wiki/NTU131002/Lab2
(限用 64 位元，請先確認您的作業系統支援 64 位元)

- Jazz

supheros · **註冊時間:** 2013-10-20, 16:48 **文章:** 11

jazz 寫:

設定檔看起來沒問題。可否提供執行 jps 指令的結果，以及
/usr/hadoop-0.20.2/logs/hadoop-root-namenode-huranjie-IdeaPad-Y430.log 的內容呢？

另外，想請問您使用的 Linux 是哪個系列呢？CentOS? Ubuntu？RHEL？SuSE？
Ubuntu 12.04 系列我有寫 script 給初學者用，不過執行腳本的身份需要有 sudo 權限。

代碼:

wget http://hadoop.nchc.org.tw/~jazz/temp/install-hadoop-0.20.2-precise
chmod a+x install-hadoop-0.20.2-precise
./install-hadoop-0.20.2-precise

其他 Hadoop 版本請參考 http://hadoop.nchc.org.tw/~jazz/temp/

若想是用 Hadoop 2.0 最新版本的，我也有使用 Apache BigTop 設計了一個無人值守自動安裝光碟。
用虛擬機器模擬安裝流程的實驗步驟可參考：http://trac.nchc.org.tw/cloud/wiki/NTU131002/Lab2
(限用 64 位元，請先確認您的作業系統支援 64 位元)

- Jazz

版主您好，谢谢您的回复！
1.執行 jps 指令的結果是什么意思呀？
2./usr/hadoop-0.20.2/logs/hadoop-root-namenode-huranjie-IdeaPad-Y430.log 这个文件没有。只有很多.out结尾的文件和一个/usr/hadoop-0.20.2/logs/hadoop-root-tasttracker-huranjie-IdeaPad-Y430.log 。打开看了报错是Can't start tast tracker because java.lang.InternalError : internal error : SHA-1 not available.(PS:我换了最新的2.2.0的hadoop，./hadoop namenode format终于有反应了！！但是还是报错，也是和这个错误一样，我怀疑我的jdk有问题？？sun的jdk1.7.0_40)
3.我的是Ubuntu 12.04 LTS，我是32位机器。

有什么好办法吗？

zzuliszhen · **註冊時間:** 2013-08-28, 23:08 **文章:** 11

jps显示的应该是和java相关的进程，關於報錯的問題，建議樓主查看下防火牆是否關閉（這個貌似需要編輯etc下和防火牆相關的一個文件），還有就是master和slave的nameid是否一致。詳細情況見網址：http://www.cnblogs.com/xia520pi/archive/2012/05/16/2503949.html

supheros · **註冊時間:** 2013-10-20, 16:48 **文章:** 11

居然是jdk(1.7.0_40)的问题，换了个jdk（1.7.0_45）就好了。
顺便问问版主大大，我用了新版的hadoop2.2.0，./start-all.sh，后，再jps如下

代碼:

root@huranjie-IdeaPad-Y430:/usr/hadoop-2.2.0/sbin# jps
NameNode
ResourceManager
Jps
DataNode
NodeManager
SecondaryNameNode

为何新版没有jobtracker和tasktracker？还需要新的指令来启动吗？
就版本没问题，刚好启动了5个。

jazz · **註冊時間:** 2009-11-09, 19:52 **文章:** 2897

supheros 寫:

为何新版没有jobtracker和tasktracker？还需要新的指令来启动吗？
就版本没问题，刚好启动了5个。

是的 Hadoop 2.0 版本改用 YARN (或者稱為 MapReduce v2, MRv2)，其概念是用 ResourceManager 跟 NodeManager。
http://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/YARN.html
JobTracker 跟 TaskTracker 是 MapReduce v1 (MRv1) ，只能執行 MapReduce。
YARN 則可以執行 MapReduce 以外的程式，也有許多不同的擴充模組(Ex. YARN-MPI, YARN-Storm, etc.)

- Jazz

supheros · **註冊時間:** 2013-10-20, 16:48 **文章:** 11

非常感谢啦！对小弟这个新手相当有用！

jazz 寫:

supheros 寫:

为何新版没有jobtracker和tasktracker？还需要新的指令来启动吗？
就版本没问题，刚好启动了5个。

是的 Hadoop 2.0 版本改用 YARN (或者稱為 MapReduce v2, MRv2)，其概念是用 ResourceManager 跟 NodeManager。
http://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/YARN.html
JobTracker 跟 TaskTracker 是 MapReduce v1 (MRv1) ，只能執行 MapReduce。
YARN 則可以執行 MapReduce 以外的程式，也有許多不同的擴充模組(Ex. YARN-MPI, YARN-Storm, etc.)

- Jazz

Taiwan Hadoop Forum

新手求问hadoop的安装问题

誰在線上