Taiwan Hadoop Forum

台灣 Hadoop 技術討論區
現在的時間是 2017-07-20, 20:34

所有顯示的時間為 UTC + 8 小時




發表新文章 回覆主題  [ 4 篇文章 ] 
發表人 內容
 文章主題 : [請益]遇到一個奇怪的現象
文章發表於 : 2016-07-13, 09:40 
離線

註冊時間: 2012-09-11, 10:42
文章: 4
小弟最近遇到一個怪現象
最近敝公司想將原本的Hadoop 環境移植到雲平台上面去

重新在雲上面用CDH 5.x 建立了三個Cluster簡稱A , B, C
在A Clusters 看起來一切正常

但是在 B, C 同時出現了一樣的情境,HDFS 就像是完全沒有權限一樣的狀況
我在B Cluster 的其中一台 DataNode 用 aaa 這個帳號 執行了
hadoop fs -touchz /user/tmp/test.txt

然後產生的結果是
drwxr-xr-x - hdfs supergroups 0 2016-07-08 12:48 /user/tmp/test.txt

而/user/tmp 這個目錄應該是不允許 aaa 寫入的,我預期他應該會是出現
touchz: Permission denied: user=aaa, access=WRITE, inode="/user/tmp":tmp:xxx:drwxrwxr-x

現在的問題就是在 B, C Cluster 不管用什麼帳號執行都會變成是 hdfs 去寫檔案....
由於 A Cluster當初的部屬的同事目前呈現一問三不知....

請問可能是什麼原因或設定造成的....看了 A , B , C 三台之間 設定沒有太明顯的不一樣


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: [請益]遇到一個奇怪的現象
文章發表於 : 2016-07-13, 21:07 
離線

註冊時間: 2009-11-09, 19:52
文章: 2894
wuenhouse 寫:
小弟最近遇到一個怪現象
最近敝公司想將原本的Hadoop 環境移植到雲平台上面去
重新在雲上面用CDH 5.x 建立了三個Cluster簡稱A , B, C
在A Clusters 看起來一切正常
但是在 B, C 同時出現了一樣的情境,HDFS 就像是完全沒有權限一樣的狀況
我在B Cluster 的其中一台 DataNode 用 aaa 這個帳號 執行了
hadoop fs -touchz /user/tmp/test.txt
然後產生的結果是
drwxr-xr-x - hdfs supergroups 0 2016-07-08 12:48 /user/tmp/test.txt
而/user/tmp 這個目錄應該是不允許 aaa 寫入的,我預期他應該會是出現
touchz: Permission denied: user=aaa, access=WRITE, inode="/user/tmp":tmp:xxx:drwxrwxr-x
現在的問題就是在 B, C Cluster 不管用什麼帳號執行都會變成是 hdfs 去寫檔案....
由於 A Cluster當初的部屬的同事目前呈現一問三不知....
請問可能是什麼原因或設定造成的....看了 A , B , C 三台之間 設定沒有太明顯的不一樣


可以請教您是如何建立新帳號的呢?(Ex. aaa 是 Hue 的帳號?還是 Linux 系統帳號)
另外,建議提供 /etc/hadoop/conf/core-site.xml 與 /etc/hadoop/conf/hdfs-site.xml 內容
感覺權限 ACL 設定很可能是關閉的。

- Jazz


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: [請益]遇到一個奇怪的現象
文章發表於 : 2016-07-14, 16:15 
離線

註冊時間: 2012-09-11, 10:42
文章: 4
找到問題了
感謝版主的解惑

我們同事寫了一行指令
echo "export HADOOP_USER_NAME=hdfs"
echo 到 /etc/bashrc 的尾巴

造成不管任何人登入在執行HADOOP指令都變成 hdfs....


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: [請益]遇到一個奇怪的現象
文章發表於 : 2016-07-15, 13:19 
離線

註冊時間: 2009-11-09, 19:52
文章: 2894
wuenhouse 寫:
找到問題了
感謝版主的解惑

我們同事寫了一行指令
echo "export HADOOP_USER_NAME=hdfs"
echo 到 /etc/bashrc 的尾巴

造成不管任何人登入在執行HADOOP指令都變成 hdfs....


哇~這狀況還真的蠻難追查的 XD

- Jazz


回頂端
 個人資料 E-mail  
 
顯示文章 :  排序  
發表新文章 回覆主題  [ 4 篇文章 ] 

所有顯示的時間為 UTC + 8 小時


誰在線上

正在瀏覽這個版面的使用者:沒有註冊會員 和 2 位訪客


不能 在這個版面發表主題
不能 在這個版面回覆主題
不能 在這個版面編輯您的文章
不能 在這個版面刪除您的文章
不能 在這個版面上傳附加檔案

搜尋:
前往 :  
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
正體中文語系由 竹貓星球 維護製作