Taiwan Hadoop Forum

台灣 Hadoop 技術討論區
現在的時間是 2018-10-18, 23:42

所有顯示的時間為 UTC + 8 小時




發表新文章 回覆主題  [ 7 篇文章 ] 
發表人 內容
 文章主題 : 新手求问hadoop的安装问题
文章發表於 : 2013-10-20, 16:52 
離線

註冊時間: 2013-10-20, 16:48
文章: 11
小弟新手,想在一台电脑上配置伪分布式环境来学习。但是遇到了一些问题,求大家帮助。
下载安装了hadoop0.20.2,配置好了过后,执行./hadoop namenode -format没有任何提示!然后运行start-all.sh,貌似正常开启了,但是stop-all.sh却不正确。是不是./hadoop namenode -format没有执行成功呀?求救帮助

代碼:
root@huranjie-IdeaPad-Y430:/usr/hadoop-0.20.2/bin# ./hadoop namenode -format
root@huranjie-IdeaPad-Y430:/usr/hadoop-0.20.2/bin# ./hadoop namenode -format
root@huranjie-IdeaPad-Y430:/usr/hadoop-0.20.2/bin# ./hadoop namenode -format
root@huranjie-IdeaPad-Y430:/usr/hadoop-0.20.2/bin# ./start-all.sh
starting namenode, logging to /usr/hadoop-0.20.2/bin/../logs/hadoop-root-namenode-huranjie-IdeaPad-Y430.out
localhost: starting datanode, logging to /usr/hadoop-0.20.2/bin/../logs/hadoop-root-datanode-huranjie-IdeaPad-Y430.out
localhost: starting secondarynamenode, logging to /usr/hadoop-0.20.2/bin/../logs/hadoop-root-secondarynamenode-huranjie-IdeaPad-Y430.out
starting jobtracker, logging to /usr/hadoop-0.20.2/bin/../logs/hadoop-root-jobtracker-huranjie-IdeaPad-Y430.out
localhost: starting tasktracker, logging to /usr/hadoop-0.20.2/bin/../logs/hadoop-root-tasktracker-huranjie-IdeaPad-Y430.out
root@huranjie-IdeaPad-Y430:/usr/hadoop-0.20.2/bin# ./stop-all.sh
no jobtracker to stop
localhost: stopping tasktracker
no namenode to stop
localhost: no datanode to stop
localhost: no secondarynamenode to stop
root@huranjie-IdeaPad-Y430:/usr/hadoop-0.20.2/bin#



三个配置文件如下

代碼:
root@huranjie-IdeaPad-Y430:/usr/hadoop-0.20.2/conf# cat core-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/tmp/hadoop/hadoop-${user.name}</value>
</property>
</configuration>


代碼:
root@huranjie-IdeaPad-Y430:/usr/hadoop-0.20.2/conf# cat hdfs-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>



代碼:
root@huranjie-IdeaPad-Y430:/usr/hadoop-0.20.2/conf# cat mapred-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: 新手求问hadoop的安装问题
文章發表於 : 2013-10-21, 15:32 
離線

註冊時間: 2009-11-09, 19:52
文章: 2897
設定檔看起來沒問題。可否提供執行 jps 指令的結果,以及
/usr/hadoop-0.20.2/logs/hadoop-root-namenode-huranjie-IdeaPad-Y430.log 的內容呢?

另外,想請問您使用的 Linux 是哪個系列呢?CentOS? Ubuntu?RHEL?SuSE?
Ubuntu 12.04 系列我有寫 script 給初學者用,不過執行腳本的身份需要有 sudo 權限。
代碼:
wget http://hadoop.nchc.org.tw/~jazz/temp/install-hadoop-0.20.2-precise
chmod a+x install-hadoop-0.20.2-precise
./install-hadoop-0.20.2-precise

其他 Hadoop 版本請參考 http://hadoop.nchc.org.tw/~jazz/temp/

若想是用 Hadoop 2.0 最新版本的,我也有使用 Apache BigTop 設計了一個無人值守自動安裝光碟。
用虛擬機器模擬安裝流程的實驗步驟可參考:http://trac.nchc.org.tw/cloud/wiki/NTU131002/Lab2
(限用 64 位元,請先確認您的作業系統支援 64 位元)

- Jazz


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: 新手求问hadoop的安装问题
文章發表於 : 2013-10-21, 21:43 
離線

註冊時間: 2013-10-20, 16:48
文章: 11
jazz 寫:
設定檔看起來沒問題。可否提供執行 jps 指令的結果,以及
/usr/hadoop-0.20.2/logs/hadoop-root-namenode-huranjie-IdeaPad-Y430.log 的內容呢?

另外,想請問您使用的 Linux 是哪個系列呢?CentOS? Ubuntu?RHEL?SuSE?
Ubuntu 12.04 系列我有寫 script 給初學者用,不過執行腳本的身份需要有 sudo 權限。
代碼:
wget http://hadoop.nchc.org.tw/~jazz/temp/install-hadoop-0.20.2-precise
chmod a+x install-hadoop-0.20.2-precise
./install-hadoop-0.20.2-precise

其他 Hadoop 版本請參考 http://hadoop.nchc.org.tw/~jazz/temp/

若想是用 Hadoop 2.0 最新版本的,我也有使用 Apache BigTop 設計了一個無人值守自動安裝光碟。
用虛擬機器模擬安裝流程的實驗步驟可參考:http://trac.nchc.org.tw/cloud/wiki/NTU131002/Lab2
(限用 64 位元,請先確認您的作業系統支援 64 位元)

- Jazz



版主您好,谢谢您的回复!
1.執行 jps 指令的結果是什么意思呀?
2./usr/hadoop-0.20.2/logs/hadoop-root-namenode-huranjie-IdeaPad-Y430.log 这个文件没有。只有很多.out结尾的文件和一个/usr/hadoop-0.20.2/logs/hadoop-root-tasttracker-huranjie-IdeaPad-Y430.log 。打开看了报错是Can't start tast tracker because java.lang.InternalError : internal error : SHA-1 not available.(PS:我换了最新的2.2.0的hadoop,./hadoop namenode format终于有反应了!!但是还是报错,也是和这个错误一样,我怀疑我的jdk有问题??sun的jdk1.7.0_40)
3.我的是Ubuntu 12.04 LTS,我是32位机器。

有什么好办法吗?


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: 新手求问hadoop的安装问题
文章發表於 : 2013-10-21, 22:13 
離線

註冊時間: 2013-08-28, 23:08
文章: 11
jps显示的应该是和java相关的进程,關於報錯的問題,建議樓主查看下防火牆是否關閉(這個貌似需要編輯etc下和防火牆相關的一個文件),還有就是master和slave的nameid是否一致。詳細情況見網址:http://www.cnblogs.com/xia520pi/archive/2012/05/16/2503949.html


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: 新手求问hadoop的安装问题
文章發表於 : 2013-10-22, 17:09 
離線

註冊時間: 2013-10-20, 16:48
文章: 11
居然是jdk(1.7.0_40)的问题,换了个jdk(1.7.0_45)就好了。
顺便问问版主大大,我用了新版的hadoop2.2.0,./start-all.sh,后,再jps如下

代碼:
root@huranjie-IdeaPad-Y430:/usr/hadoop-2.2.0/sbin# jps
9194 NameNode
9816 ResourceManager
10099 Jps
9400 DataNode
10035 NodeManager
9674 SecondaryNameNode


为何新版没有jobtracker和tasktracker?还需要新的指令来启动吗?
就版本没问题,刚好启动了5个。


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: 新手求问hadoop的安装问题
文章發表於 : 2013-10-24, 23:20 
離線

註冊時間: 2009-11-09, 19:52
文章: 2897
supheros 寫:
为何新版没有jobtracker和tasktracker?还需要新的指令来启动吗?
就版本没问题,刚好启动了5个。


是的 Hadoop 2.0 版本改用 YARN (或者稱為 MapReduce v2, MRv2),其概念是用 ResourceManager 跟 NodeManager。
http://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/YARN.html
JobTracker 跟 TaskTracker 是 MapReduce v1 (MRv1) ,只能執行 MapReduce。
YARN 則可以執行 MapReduce 以外的程式,也有許多不同的擴充模組(Ex. YARN-MPI, YARN-Storm, etc.)

- Jazz


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: 新手求问hadoop的安装问题
文章發表於 : 2013-10-25, 18:57 
離線

註冊時間: 2013-10-20, 16:48
文章: 11
非常感谢啦!对小弟这个新手相当有用!

jazz 寫:
supheros 寫:
为何新版没有jobtracker和tasktracker?还需要新的指令来启动吗?
就版本没问题,刚好启动了5个。


是的 Hadoop 2.0 版本改用 YARN (或者稱為 MapReduce v2, MRv2),其概念是用 ResourceManager 跟 NodeManager。
http://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/YARN.html
JobTracker 跟 TaskTracker 是 MapReduce v1 (MRv1) ,只能執行 MapReduce。
YARN 則可以執行 MapReduce 以外的程式,也有許多不同的擴充模組(Ex. YARN-MPI, YARN-Storm, etc.)

- Jazz


回頂端
 個人資料 E-mail  
 
顯示文章 :  排序  
發表新文章 回覆主題  [ 7 篇文章 ] 

所有顯示的時間為 UTC + 8 小時


誰在線上

正在瀏覽這個版面的使用者:沒有註冊會員 和 1 位訪客


不能 在這個版面發表主題
不能 在這個版面回覆主題
不能 在這個版面編輯您的文章
不能 在這個版面刪除您的文章
不能 在這個版面上傳附加檔案

搜尋:
前往 :  
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
正體中文語系由 竹貓星球 維護製作