Taiwan Hadoop Forum
http://forum.hadoop.tw/

[請益]遇到一個奇怪的現象
http://forum.hadoop.tw/viewtopic.php?f=4&t=38331
1 頁 (共 1 頁)

發表人:  wuenhouse [ 2016-07-13, 09:40 ]
文章主題 :  [請益]遇到一個奇怪的現象

小弟最近遇到一個怪現象
最近敝公司想將原本的Hadoop 環境移植到雲平台上面去

重新在雲上面用CDH 5.x 建立了三個Cluster簡稱A , B, C
在A Clusters 看起來一切正常

但是在 B, C 同時出現了一樣的情境,HDFS 就像是完全沒有權限一樣的狀況
我在B Cluster 的其中一台 DataNode 用 aaa 這個帳號 執行了
hadoop fs -touchz /user/tmp/test.txt

然後產生的結果是
drwxr-xr-x - hdfs supergroups 0 2016-07-08 12:48 /user/tmp/test.txt

而/user/tmp 這個目錄應該是不允許 aaa 寫入的,我預期他應該會是出現
touchz: Permission denied: user=aaa, access=WRITE, inode="/user/tmp":tmp:xxx:drwxrwxr-x

現在的問題就是在 B, C Cluster 不管用什麼帳號執行都會變成是 hdfs 去寫檔案....
由於 A Cluster當初的部屬的同事目前呈現一問三不知....

請問可能是什麼原因或設定造成的....看了 A , B , C 三台之間 設定沒有太明顯的不一樣

發表人:  jazz [ 2016-07-13, 21:07 ]
文章主題 :  Re: [請益]遇到一個奇怪的現象

wuenhouse 寫:
小弟最近遇到一個怪現象
最近敝公司想將原本的Hadoop 環境移植到雲平台上面去
重新在雲上面用CDH 5.x 建立了三個Cluster簡稱A , B, C
在A Clusters 看起來一切正常
但是在 B, C 同時出現了一樣的情境,HDFS 就像是完全沒有權限一樣的狀況
我在B Cluster 的其中一台 DataNode 用 aaa 這個帳號 執行了
hadoop fs -touchz /user/tmp/test.txt
然後產生的結果是
drwxr-xr-x - hdfs supergroups 0 2016-07-08 12:48 /user/tmp/test.txt
而/user/tmp 這個目錄應該是不允許 aaa 寫入的,我預期他應該會是出現
touchz: Permission denied: user=aaa, access=WRITE, inode="/user/tmp":tmp:xxx:drwxrwxr-x
現在的問題就是在 B, C Cluster 不管用什麼帳號執行都會變成是 hdfs 去寫檔案....
由於 A Cluster當初的部屬的同事目前呈現一問三不知....
請問可能是什麼原因或設定造成的....看了 A , B , C 三台之間 設定沒有太明顯的不一樣


可以請教您是如何建立新帳號的呢?(Ex. aaa 是 Hue 的帳號?還是 Linux 系統帳號)
另外,建議提供 /etc/hadoop/conf/core-site.xml 與 /etc/hadoop/conf/hdfs-site.xml 內容
感覺權限 ACL 設定很可能是關閉的。

- Jazz

發表人:  wuenhouse [ 2016-07-14, 16:15 ]
文章主題 :  Re: [請益]遇到一個奇怪的現象

找到問題了
感謝版主的解惑

我們同事寫了一行指令
echo "export HADOOP_USER_NAME=hdfs"
echo 到 /etc/bashrc 的尾巴

造成不管任何人登入在執行HADOOP指令都變成 hdfs....

發表人:  jazz [ 2016-07-15, 13:19 ]
文章主題 :  Re: [請益]遇到一個奇怪的現象

wuenhouse 寫:
找到問題了
感謝版主的解惑

我們同事寫了一行指令
echo "export HADOOP_USER_NAME=hdfs"
echo 到 /etc/bashrc 的尾巴

造成不管任何人登入在執行HADOOP指令都變成 hdfs....


哇~這狀況還真的蠻難追查的 XD

- Jazz

1 頁 (共 1 頁) 所有顯示的時間為 UTC + 8 小時
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
http://www.phpbb.com/