Taiwan Hadoop Forum

台灣 Hadoop 技術討論區
現在的時間是 2022-06-25, 22:07

所有顯示的時間為 UTC + 8 小時




發表新文章 回覆主題  [ 2 篇文章 ] 
發表人 內容
 文章主題 : 請問HDFS user問題
文章發表於 : 2010-03-30, 02:55 
離線

註冊時間: 2010-03-02, 15:40
文章: 27
小弟最近玩HDFS over ftp時有幾個地方我對HDFS user權限有疑問,希望有前輩能指點迷津一下

話說HDFS的user算是假的...他不能判斷是否有真的user存在,充其量也只有一個superuser算是真的(whoami)...

而小弟的疑問是ftp的user是ftp自己本身的user, 當今天有ftp user登入時怎將ftp的user轉換成HDFS的user?

或者是說我們可以如何設定hadoop登入HDFS的user而不受whoami限制?

疑問起源於在ftp中我有個user ID為john, 而我的Hadoop的superuser(whoami)為hadoop,但我利用john帳號在FTP上傳檔案test.tar時

我看見在HDFS中的/user/john/test.tar的user group都變為john, 在用command line對HDFS -put資料時我們user都會是Hadoop(whoami)所決定而使檔案擁有者變成hadoop

若要改變檔案的user group都必須下達-chown 或 -chgrp來改變, 不知是否有方法能直接指定上傳檔案的user group的方法?

此外在FTP中瀏覽400權限的檔案HDFS也會回復Permission denied的訊息,所以我才想問是否有方法可以指定access HDFS的user?




ps. 題外話...不知國網中心是否有成功架設過cloudera destop的實例?? 小弟奮戰了很久都失敗了...問題似乎出在python和thrift這兩邊,有成功也煩請指導一下
> <" 它的圖形化管理介面真的好炫阿..........


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: 請問HDFS user問題
文章發表於 : 2010-04-01, 02:46 
離線

註冊時間: 2009-11-09, 19:52
文章: 2897
ctl1690 寫:
話說HDFS的user算是假的...他不能判斷是否有真的user存在,充其量也只有一個superuser算是真的(whoami)...

而小弟的疑問是ftp的user是ftp自己本身的user, 當今天有ftp user登入時怎將ftp的user轉換成HDFS的user?
或者是說我們可以如何設定hadoop登入HDFS的user而不受whoami限制?

若要改變檔案的user group都必須下達-chown 或 -chgrp來改變, 不知是否有方法能直接指定上傳檔案的user group的方法?

此外在FTP中瀏覽400權限的檔案HDFS也會回復Permission denied的訊息,所以我才想問是否有方法可以指定access HDFS的user?


嗯,Hadoop 權限管理確實沒有實體檔案系統來得嚴謹。上述的觀察都是正確的,只要你的系統有 john 跟 hadoop 兩個身分,外面用 ftp 以 john 身分連進 NameNode 就會產生 john 所有的檔案。

我不是很確定有沒有 umask 的指令,印象看過....或許可以用類似 umask 的指令來達成。(待查)
也就是讓 john 跟 hadoop 在 /etc/group 中屬於同一個群組(Ex. hadoop)
然後讓預設產生的檔案都是 group readable,這樣就不會有不能讀的問題了。

PS.鳥哥的 umask 介紹

ctl1690 寫:
ps. 題外話...不知國網中心是否有成功架設過cloudera destop的實例?? 小弟奮戰了很久都失敗了...問題似乎出在python和thrift這兩邊,有成功也煩請指導一下
> <" 它的圖形化管理介面真的好炫阿..........


嗯,因為授權不是 GPL 也不是 Apache 授權,而是 Cloudera 自己的授權,所以動力比較弱一點,
先前有找幾篇它底層是怎麼作的文章(一時找不到),實際上 hadoop 跑起來,你用 netstat 會出現很多 port 被開起來。
其中有些 port 就是 JMX (印象是這名稱) 的溝通管道。Cloudera Desktop 的資料是透過直接存取 JMX 來產生。

圖檔


回頂端
 個人資料 E-mail  
 
顯示文章 :  排序  
發表新文章 回覆主題  [ 2 篇文章 ] 

所有顯示的時間為 UTC + 8 小時


誰在線上

正在瀏覽這個版面的使用者:沒有註冊會員 和 3 位訪客


不能 在這個版面發表主題
不能 在這個版面回覆主題
不能 在這個版面編輯您的文章
不能 在這個版面刪除您的文章
不能 在這個版面上傳附加檔案

搜尋:
前往 :  
cron
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
正體中文語系由 竹貓星球 維護製作