Taiwan Hadoop Forum

台灣 Hadoop 技術討論區
現在的時間是 2022-06-29, 02:55

所有顯示的時間為 UTC + 8 小時




發表新文章 回覆主題  [ 5 篇文章 ] 
發表人 內容
 文章主題 : 請問HDFS上,檔案追加文字有辦法辦到嗎
文章發表於 : 2014-04-08, 17:02 
離線

註冊時間: 2013-10-15, 21:01
文章: 50
假如我在HDFS上有個檔案,我可以透過程式直接在檔案下面繼續加入新文字上去嗎?

FSDataOutputStream append(Path f)
Append to an existing file (optional operation).

這個API似乎可以辦到,但是一直沒有成功

上網看又說這個API有BUG,如果多個程序同時同個檔案追加文字會出現錯誤是嗎!?

可以多個程序寫的檔案,在最後在合併成一個檔案嗎!?
檔案一:AAAA
檔案二:BBBB
檔案三:CCCC
合併為:
檔案一:
AAAA
BBBB
CCCC

感謝回答!


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: 請問HDFS上,檔案追加文字有辦法辦到嗎
文章發表於 : 2014-04-09, 08:50 
離線

註冊時間: 2009-11-09, 19:52
文章: 2897
HDFS 預設不支援 append
必須額外將支援 append 的參數打開。

代碼:
<property>
  <name>dfs.support.append</name>
  <value>true</value>
  <description>Does HDFS allow appends to files?
   This is currently set to false because there are bugs in the
   "append code" and is not supported in any prodction cluster.
  </description>
</property>


https://www.google.com.tw/search?q=hdfs+append

- Jazz


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: 請問HDFS上,檔案追加文字有辦法辦到嗎
文章發表於 : 2014-04-09, 15:55 
離線

註冊時間: 2013-10-15, 21:01
文章: 50
請問jazz大大,檔案追加會有問題嗎,如果是同時多個程序寫入的時候??

請問檔案可以合併,我第二題這樣說的??


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: 請問HDFS上,檔案追加文字有辦法辦到嗎
文章發表於 : 2014-04-10, 21:30 
離線

註冊時間: 2009-11-09, 19:52
文章: 2897
AndyTsai 寫:
請問jazz大大,檔案追加會有問題嗎,如果是同時多個程序寫入的時候??
請問檔案可以合併,我第二題這樣說的??


1. 檔案追加,打開支援以後,理論上不會有問題(其實很難擔保會踩到什麼雷)。
 至於多個程序同時寫入,會發生 lock ,造成全部的程序變慢。就像 Multi-thread 會遇到的狀況。
 多個程序要讀出或寫入同一個資源時,本來就會是一種競爭資源的過程,必須有人出來仲裁,
 在 HDFS,是由 NameNode 做仲裁。

2. 目前有指令可以把多個 HDFS 檔案變成 Local 檔案系統的一個檔案。API 我就不確定了~
代碼:
hadoop fs -getmerge <src> <localdst> [addnl]


- Jazz


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: 請問HDFS上,檔案追加文字有辦法辦到嗎
文章發表於 : 2014-05-04, 17:30 
離線

註冊時間: 2011-11-11, 23:41
文章: 79
引言回覆:
如果多個程序同時同個檔案追加文字會出現錯誤是嗎!?



HDFS 不允許同時多個寫入, 所以多個程序無法同時對同一檔案做追加.


Multiple writers, arbitrary file modifications
Files in HDFS may be written to by a single writer. Writes are always made at the
end of the file. There is no support for multiple writers, or for modifications at
arbitrary offsets in the file. (These might be supported in the future, but they are
likely to be relatively inefficient.)

src: HadoopTheDeFinitiveGuide_3nd


回頂端
 個人資料 E-mail  
 
顯示文章 :  排序  
發表新文章 回覆主題  [ 5 篇文章 ] 

所有顯示的時間為 UTC + 8 小時


誰在線上

正在瀏覽這個版面的使用者:沒有註冊會員 和 1 位訪客


不能 在這個版面發表主題
不能 在這個版面回覆主題
不能 在這個版面編輯您的文章
不能 在這個版面刪除您的文章
不能 在這個版面上傳附加檔案

搜尋:
前往 :  
cron
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
正體中文語系由 竹貓星球 維護製作