Taiwan Hadoop Forum

台灣 Hadoop 技術討論區
現在的時間是 2022-06-28, 03:55

所有顯示的時間為 UTC + 8 小時




發表新文章 回覆主題  [ 4 篇文章 ] 
發表人 內容
 文章主題 : Hive建table和導data的問題
文章發表於 : 2014-01-14, 15:57 
離線

註冊時間: 2013-11-29, 10:59
文章: 8
小弟剛在學Hive,有個問題一直搞不定,請各位前輩指導一下,謝謝

我在Hive裡建立了table並且要load csv data到table裡語法如下

CREATE TABLE bxbookratings
(User-ID BIGINT,ISBN STRING,Book-Rating INT)
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\073' LINES TERMINATED BY '\n' STORED AS TEXTFILE;
load data local inpath '/home/cloudera/usecase2/BX-Book-Ratings.csv' into table bxbookratings;



BX-Book-Ratings.csv的格式如下

276725;"034545104X";"0"
876777;"023456404X";"3"




跑了create table和load的語法後結果為

276725 null null
876777 null null





請教一下如果我希望在table裡看到的結果為以下的格式,請問我的語法裡哪裡需要修改 ? 感激不盡

276725 034545104X 0
876777 023456404X 3


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: Hive建table和導data的問題
文章發表於 : 2014-01-25, 12:05 
離線

註冊時間: 2009-11-09, 19:52
文章: 2897
看起來應該是 " " 雙引號造成的問題。
這裡有人提到可以用 CSV-SerDe 來解決雙引號造成的問題。
http://stackoverflow.com/questions/13628658/hive-text-delimiter

個人覺得比較簡單的作法是對 CSV 檔做個前處理,把雙引號去掉。

- Jazz


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: Hive建table和導data的問題
文章發表於 : 2014-01-26, 17:13 
離線

註冊時間: 2009-11-09, 19:52
文章: 2897
jazz 寫:
看起來應該是 " " 雙引號造成的問題。
這裡有人提到可以用 CSV-SerDe 來解決雙引號造成的問題。
http://stackoverflow.com/questions/13628658/hive-text-delimiter
個人覺得比較簡單的作法是對 CSV 檔做個前處理,把雙引號去掉。
- Jazz


我試過把 "" 雙引號拿掉,匯入是正確的。
代碼:
jazz@yarn:~$ cat test.csv
276725;"034545104X";"0"
876777;"023456404X";"3"
jazz@yarn:~$ sed -i 's#"##g' test.csv
jazz@yarn:~$ cat test.csv
276725;034545104X;0
876777;023456404X;3

代碼:
hive> CREATE TABLE bxbookratings (UserID BIGINT,ISBN STRING,BookRating INT) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\073' LINES TERMINATED BY '\n' STORED AS TEXTFILE;
OK
Time taken: 10.518 seconds
hive> LOAD DATA LOCAL INPATH '/home/jazz/test.csv' INTO TABLE bxbookratings;
Copying data from file:/home/jazz/test.csv
Copying file: file:/home/jazz/test.csv
Loading data to table default.bxbookratings
Table default.bxbookratings stats: [num_partitions: 0, num_files: 1, num_rows: 0, total_size: 40, raw_data_size: 0]
OK
Time taken: 1.718 seconds
hive> select * from bxbookratings;                                         
OK
276725   034545104X   0
876777   023456404X   3
Time taken: 0.571 seconds


- Jazz


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: Hive建table和導data的問題
文章發表於 : 2014-02-12, 16:06 
離線

註冊時間: 2013-11-29, 10:59
文章: 8
謝謝Jazz 感激不盡


回頂端
 個人資料 E-mail  
 
顯示文章 :  排序  
發表新文章 回覆主題  [ 4 篇文章 ] 

所有顯示的時間為 UTC + 8 小時


誰在線上

正在瀏覽這個版面的使用者:沒有註冊會員 和 1 位訪客


不能 在這個版面發表主題
不能 在這個版面回覆主題
不能 在這個版面編輯您的文章
不能 在這個版面刪除您的文章
不能 在這個版面上傳附加檔案

搜尋:
前往 :  
cron
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
正體中文語系由 竹貓星球 維護製作