有沒有人用java向掛載到本地的HDFS寫入數據的？

wakingdreamer · **註冊時間:** 2013-04-19, 17:14 **文章:** 1

我將其他機器搭建的HDFS掛載到本地（通過fuse和nfs都試過），然後用向掛載的目錄寫入文件，總是報錯。代碼如下

代碼:

package test;
 
import java.io.File;
import java.io.IOException;
 
public class Test {
 
    /**
     * @param args
     */
    public static void main(String[] args) {
        // TODO Auto-generated method stub
        File f = new File("/mnt/hdfs/test");
        try {
            System.out.println(f.createNewFile());
        } catch (IOException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        }
 
    }
 
}

代碼:

java.io.IOException: Unknown error 524
    at java.io.UnixFileSystem.createFileExclusively(Native Method)
    at java.io.File.createNewFile(File.java:883)
    at test.Test.main(Test.java:15)

其中"/mnt/hdfs/"為hdfs掛載目錄，有該目錄寫入權限
將"/mnt/hdfs/test"換成任意本地路徑則文件可創建成功。
環境：jdk：sun jdk 1.6.38
os：centos 6.4、ubuntu12.04 一樣的錯誤。

問一下大家有通過jdk向掛載到本地的HDFS寫入成功的嗎？
我在stackoverflow上提問了，但沒有解決，請大家幫忙，謝謝。
http://stackoverflow.com/questions/1608 ... unted-hdfs

aacbajba · **註冊時間:** 2012-09-17, 23:06 **文章:** 47

wakingdreamer 寫:

我將其他機器搭建的HDFS掛載到本地（通過fuse和nfs都試過），然後用向掛載的目錄寫入文件，總是報錯。代碼如下

代碼:

package test;
 
import java.io.File;
import java.io.IOException;
 
public class Test {
 
    /**
     * @param args
     */
    public static void main(String[] args) {
        // TODO Auto-generated method stub
        File f = new File("/mnt/hdfs/test");
        try {
            System.out.println(f.createNewFile());
        } catch (IOException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        }
 
    }
 
}

代碼:

java.io.IOException: Unknown error 524
    at java.io.UnixFileSystem.createFileExclusively(Native Method)
    at java.io.File.createNewFile(File.java:883)
    at test.Test.main(Test.java:15)

其中"/mnt/hdfs/"為hdfs掛載目錄，有該目錄寫入權限
將"/mnt/hdfs/test"換成任意本地路徑則文件可創建成功。
環境：jdk：sun jdk 1.6.38
os：centos 6.4、ubuntu12.04 一樣的錯誤。

問一下大家有通過jdk向掛載到本地的HDFS寫入成功的嗎？
我在stackoverflow上提問了，但沒有解決，請大家幫忙，謝謝。
http://stackoverflow.com/questions/1608 ... unted-hdfs

您好：你可以參考版主http://trac.nchc.org.tw/cloud/wiki/NCHCCloudCourse100928_3_EXE
這篇文章，我想應該有符合您的需求，內容也寫的很詳細，您先參考若有疑問可再提出^^

jazz · **註冊時間:** 2009-11-09, 19:52 **文章:** 2897

由於沒有試過，所以沒想過會遇到這種狀況。

我想多數人都會用上一則回覆的作法，因為既然用 Java 撰寫程式了，就直接呼叫 HDFS API。

至於原因，個人在猜測跟 FUSE 原理有關。
FUSE 只是一個抽象層，幫忙把一些 VFS 指令轉成該有的 HDFS 指令
但是 Java 的 File 類別會觸發什麼底層 OS 的指令，還真的沒想過...
個人覺得確實有可能會失敗，但主因應該是在 FUSE 實作上。

- Jazz

Taiwan Hadoop Forum

有沒有人用java向掛載到本地的HDFS寫入數據的？

誰在線上