Taiwan Hadoop Forum

台灣 Hadoop 技術討論區
現在的時間是 2022-07-02, 13:18

所有顯示的時間為 UTC + 8 小時




發表新文章 回覆主題  [ 4 篇文章 ] 
發表人 內容
 文章主題 : 請教如何在 Windows 平台透過 JDBC 連線 HiveServer1 & HiveServer2?
文章發表於 : 2014-03-12, 20:20 
離線

註冊時間: 2014-03-12, 16:46
文章: 3
Dear Jazz & 各位先進您好,

近期因專案配合 Open Source BW Solutions 測試, 故利用 Cloudera CDH4.5 搭建一套簡單的 Hadoop 環境(1*HeadNodoe+2*DataNode), 並計畫於 Windows 平台採 SpagoBI Studio 透過 JDBC 連線 Hive Server 進行軟體相關功能測試, 但在第一步搭橋就遇到了問題, 原為避免軟體對 Hive Server 版本支援相容影響, 且記得在閱讀一些文件時有提到 Hive Server Version 1 and 2 是可以共存的?! 故同時安裝 HiveServer 及 HiveServer2, 同時將 HiveServer2 Port 設定為 12000(HiveServer 則為預設的 10000), 但在設定好 DataSource Connection 資訊後, 不論是 test or direct connect 都一直無法成功, 錯誤訊息及相關資訊如下:
經查詢相關資料, 類似的錯誤訊息, 有些資訊指出, 可能與 CLASSPATH 設定有關, 目前系統 CLASSPATH 設置為 ".;%JAVA_HOME%\lib;%JAVA_HOME%\lib\tools.jar" , JAVA_HOME 設置為 "C:\jdk1.6.0_65", 不知道是否還需要增修哪些設定呢?
是否有前輩於 Windows 平台使用 eclipse or SpagoBI 或類似軟體連線 Hive 的開發經驗? 可否給予指導與分享, thanks a lot!

SpagoBI Studio 軟體版本及下載點:
SpagoBIStudio_4.1.0_win_64(http://forge.ow2.org/project/download.p ... e_id=19615)

測試所使用的 JDBC Driver:
JDBC Driver: hive-jdbc-0.10.0-cdh4.5.0.jar

於 SpagoBI Studio 建立的 Hive Data Source 連線資訊:(Connect to HiveServer)
Driver Class: org.apache.hadoop.hive.jdbc.HiveDriver
Database URL: jdbc:hive://IP_ADDR:10000/default
User Name: user
Password: xxx

連線錯誤訊息:
Test/Connect Error Details:
Could not connect to Hive.
Error creating ODA Connection Factory connection to Hive. (Error: null)
org.eclipse.datatools.connectivity.oda.OdaException ;
java.lang.NoClassDefFoundError: org/apache/hadoop/hive/metastore/api/MetaException


-------------------------------------------------------------------------------------------

於 SpagoBI Studio 建立的 JDBC Data Source 連線資訊:(Connect to HiveServer2)
Driver Class: org.apache.hive.jdbc.HiveDriver (HiveServer2 v0.10)
Database URL: jdbc:hive2://IP_ADDR:12000/default
User Name: user
Password: xxx

連線錯誤訊息:
Test/Connect Error Details:
Could not connect to Hive2.
Error creating ODA Connection Factory connection to Hive2. (Error: null)
org.eclipse.datatools.connectivity.oda.OdaException ;
java.lang.NoClassDefFoundError: org/apache/hive/service/cli/thrift/TCLIService$Iface




Hadoop 版本: Cloudera CDH4.5
Installed Components version:
Cloudera Manager Agent Not applicable 4.8.1
Flume NG CDH4 1.4.0+56
Hadoop CDH4 2.0.0+1518
HBase CDH4 0.94.6+165
Lily HBase Indexer (CDH4 only) CDH4 1.3+12
HCatalog (CDH4 only) CDH4 0.5.0+14
HDFS (CDH4 only) CDH4 2.0.0+1518
Hive CDH4 0.10.0+214
HttpFS (CDH4 only) CDH4 2.0.0+1518
Hue CDH4 2.5.0+182
Hue Plugins CDH4 2.5.0+182
Impala Not applicable 1.2.3
Java Not applicable java version "1.6.0_31" Java(TM) SE Runtime Environment (build 1.6.0_31-b04) Java HotSpot(TM) 64-Bit Server VM (build 20.6-b01, mixed mode)
MapReduce 1 (CDH4 only) CDH4 2.0.0+1518
MapReduce 2 (CDH4 only) CDH4 2.0.0+1518
Oozie CDH4 3.3.2+97
Pig CDH4 0.11.0+36
Solr (CDH4 only) CDH4 4.4.0+117
Sqoop2 (CDH4 only) CDH4 1.99.2+98
Yarn (CDH4 only) CDH4 2.0.0+1518
Zookeeper CDH4 3.4.5+24

_________________
Knowledge increases only if it is shared! Opportunity Knocks!
Kevin


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: 請教如何在 Windows 平台透過 JDBC 連線 HiveServer1 & HiveServer2?
文章發表於 : 2014-03-25, 17:28 
離線

註冊時間: 2014-03-12, 16:46
文章: 3
Dear All,

此問題已經解決囉, 果真還是少了相關 Java lib/class 所導致的, 不過在 SpagoBI 中找不到可以有效定義 Classpath or External Lib Directory 的設定, 所以後來將相關的 JARs 直接放置到 SpagoBI 目錄下的 plugins 內, 重新啟動就可以正常連線了, Thanks all!

_________________
Knowledge increases only if it is shared! Opportunity Knocks!
Kevin


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: 請教如何在 Windows 平台透過 JDBC 連線 HiveServer1 & HiveServer2?
文章發表於 : 2014-03-25, 23:43 
離線

註冊時間: 2009-11-09, 19:52
文章: 2897
kevin 寫:
Dear All,
此問題已經解決囉, 果真還是少了相關 Java lib/class 所導致的, 不過在 SpagoBI 中找不到可以有效定義 Classpath or External Lib Directory 的設定, 所以後來將相關的 JARs 直接放置到 SpagoBI 目錄下的 plugins 內, 重新啟動就可以正常連線了, Thanks all!


Hi Kevin,

Thanks for sharing. 有些問題因為要一些時間驗證,也許比較不容易即時回覆。
Windows 上的 Hadoop / Hive 環境相信未來會有更多人有需求,因此感謝您的經驗分享。

- Jazz


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: 請教如何在 Windows 平台透過 JDBC 連線 HiveServer1 & HiveServer2?
文章發表於 : 2014-03-26, 19:37 
離線

註冊時間: 2014-03-12, 16:46
文章: 3
jazz 寫:
kevin 寫:
Dear All,
此問題已經解決囉, 果真還是少了相關 Java lib/class 所導致的, 不過在 SpagoBI 中找不到可以有效定義 Classpath or External Lib Directory 的設定, 所以後來將相關的 JARs 直接放置到 SpagoBI 目錄下的 plugins 內, 重新啟動就可以正常連線了, Thanks all!


Hi Kevin,

Thanks for sharing. 有些問題因為要一些時間驗證,也許比較不容易即時回覆。
Windows 上的 Hadoop / Hive 環境相信未來會有更多人有需求,因此感謝您的經驗分享。

- Jazz


Dear Jazz,

感激您建構維運此繁中園地, 引領大家較輕鬆入門, 在此可以有所學有所貢獻, 交流與分享! Thanks!

_________________
Knowledge increases only if it is shared! Opportunity Knocks!
Kevin


回頂端
 個人資料 E-mail  
 
顯示文章 :  排序  
發表新文章 回覆主題  [ 4 篇文章 ] 

所有顯示的時間為 UTC + 8 小時


誰在線上

正在瀏覽這個版面的使用者:沒有註冊會員 和 1 位訪客


不能 在這個版面發表主題
不能 在這個版面回覆主題
不能 在這個版面編輯您的文章
不能 在這個版面刪除您的文章
不能 在這個版面上傳附加檔案

搜尋:
前往 :  
cron
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
正體中文語系由 竹貓星球 維護製作