Taiwan Hadoop Forum http://forum.hadoop.tw/ |
|
[請益]遇到一個奇怪的現象 http://forum.hadoop.tw/viewtopic.php?f=4&t=38331 |
第 1 頁 (共 1 頁) |
發表人: | wuenhouse [ 2016-07-13, 09:40 ] |
文章主題 : | [請益]遇到一個奇怪的現象 |
小弟最近遇到一個怪現象 最近敝公司想將原本的Hadoop 環境移植到雲平台上面去 重新在雲上面用CDH 5.x 建立了三個Cluster簡稱A , B, C 在A Clusters 看起來一切正常 但是在 B, C 同時出現了一樣的情境,HDFS 就像是完全沒有權限一樣的狀況 我在B Cluster 的其中一台 DataNode 用 aaa 這個帳號 執行了 hadoop fs -touchz /user/tmp/test.txt 然後產生的結果是 drwxr-xr-x - hdfs supergroups 0 2016-07-08 12:48 /user/tmp/test.txt 而/user/tmp 這個目錄應該是不允許 aaa 寫入的,我預期他應該會是出現 touchz: Permission denied: user=aaa, access=WRITE, inode="/user/tmp":tmp:xxx:drwxrwxr-x 現在的問題就是在 B, C Cluster 不管用什麼帳號執行都會變成是 hdfs 去寫檔案.... 由於 A Cluster當初的部屬的同事目前呈現一問三不知.... 請問可能是什麼原因或設定造成的....看了 A , B , C 三台之間 設定沒有太明顯的不一樣 |
發表人: | jazz [ 2016-07-13, 21:07 ] |
文章主題 : | Re: [請益]遇到一個奇怪的現象 |
wuenhouse 寫: 小弟最近遇到一個怪現象 最近敝公司想將原本的Hadoop 環境移植到雲平台上面去 重新在雲上面用CDH 5.x 建立了三個Cluster簡稱A , B, C 在A Clusters 看起來一切正常 但是在 B, C 同時出現了一樣的情境,HDFS 就像是完全沒有權限一樣的狀況 我在B Cluster 的其中一台 DataNode 用 aaa 這個帳號 執行了 hadoop fs -touchz /user/tmp/test.txt 然後產生的結果是 drwxr-xr-x - hdfs supergroups 0 2016-07-08 12:48 /user/tmp/test.txt 而/user/tmp 這個目錄應該是不允許 aaa 寫入的,我預期他應該會是出現 touchz: Permission denied: user=aaa, access=WRITE, inode="/user/tmp":tmp:xxx:drwxrwxr-x 現在的問題就是在 B, C Cluster 不管用什麼帳號執行都會變成是 hdfs 去寫檔案.... 由於 A Cluster當初的部屬的同事目前呈現一問三不知.... 請問可能是什麼原因或設定造成的....看了 A , B , C 三台之間 設定沒有太明顯的不一樣 可以請教您是如何建立新帳號的呢?(Ex. aaa 是 Hue 的帳號?還是 Linux 系統帳號) 另外,建議提供 /etc/hadoop/conf/core-site.xml 與 /etc/hadoop/conf/hdfs-site.xml 內容 感覺權限 ACL 設定很可能是關閉的。 - Jazz |
發表人: | wuenhouse [ 2016-07-14, 16:15 ] |
文章主題 : | Re: [請益]遇到一個奇怪的現象 |
找到問題了 感謝版主的解惑 我們同事寫了一行指令 echo "export HADOOP_USER_NAME=hdfs" echo 到 /etc/bashrc 的尾巴 造成不管任何人登入在執行HADOOP指令都變成 hdfs.... |
發表人: | jazz [ 2016-07-15, 13:19 ] |
文章主題 : | Re: [請益]遇到一個奇怪的現象 |
wuenhouse 寫: 找到問題了 感謝版主的解惑 我們同事寫了一行指令 echo "export HADOOP_USER_NAME=hdfs" echo 到 /etc/bashrc 的尾巴 造成不管任何人登入在執行HADOOP指令都變成 hdfs.... 哇~這狀況還真的蠻難追查的 XD - Jazz |
第 1 頁 (共 1 頁) | 所有顯示的時間為 UTC + 8 小時 |
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group http://www.phpbb.com/ |