Taiwan Hadoop Forum

Dear Jazz & 各位先進您好,

近期因專案配合 Open Source BW Solutions 測試, 故利用 Cloudera CDH4.5 搭建一套簡單的 Hadoop 環境(1*HeadNodoe+2*DataNode), 並計畫於 Windows 平台採 SpagoBI Studio 透過 JDBC 連線 Hive Server 進行軟體相關功能測試, 但在第一步搭橋就遇到了問題, 原為避免軟體對 Hive Server 版本支援相容影響, 且記得在閱讀一些文件時有提到 Hive Server Version 1 and 2 是可以共存的?! 故同時安裝 HiveServer 及 HiveServer2, 同時將 HiveServer2 Port 設定為 12000(HiveServer 則為預設的 10000), 但在設定好 DataSource Connection 資訊後, 不論是 test or direct connect 都一直無法成功, 錯誤訊息及相關資訊如下:
經查詢相關資料, 類似的錯誤訊息, 有些資訊指出, 可能與 CLASSPATH 設定有關, 目前系統 CLASSPATH 設置為 ".;%JAVA_HOME%\lib;%JAVA_HOME%\lib\tools.jar" , JAVA_HOME 設置為 "C:\jdk1.6.0_65", 不知道是否還需要增修哪些設定呢?
是否有前輩於 Windows 平台使用 eclipse or SpagoBI 或類似軟體連線 Hive 的開發經驗? 可否給予指導與分享, thanks a lot!

SpagoBI Studio 軟體版本及下載點:
SpagoBIStudio_4.1.0_win_64(http://forge.ow2.org/project/download.p ... e_id=19615)

測試所使用的 JDBC Driver:
JDBC Driver: hive-jdbc-0.10.0-cdh4.5.0.jar

於 SpagoBI Studio 建立的 Hive Data Source 連線資訊:(Connect to HiveServer)
Driver Class: org.apache.hadoop.hive.jdbc.HiveDriver
Database URL: jdbc:hive://IP_ADDR:10000/default
User Name: user
Password: xxx

連線錯誤訊息:
Test/Connect Error Details:
Could not connect to Hive.
Error creating ODA Connection Factory connection to Hive. (Error: null)
org.eclipse.datatools.connectivity.oda.OdaException ;
java.lang.NoClassDefFoundError: org/apache/hadoop/hive/metastore/api/MetaException

-------------------------------------------------------------------------------------------

於 SpagoBI Studio 建立的 JDBC Data Source 連線資訊:(Connect to HiveServer2)
Driver Class: org.apache.hive.jdbc.HiveDriver (HiveServer2 v0.10)
Database URL: jdbc:hive2://IP_ADDR:12000/default
User Name: user
Password: xxx

連線錯誤訊息:
Test/Connect Error Details:
Could not connect to Hive2.
Error creating ODA Connection Factory connection to Hive2. (Error: null)
org.eclipse.datatools.connectivity.oda.OdaException ;
java.lang.NoClassDefFoundError: org/apache/hive/service/cli/thrift/TCLIService$Iface



Hadoop 版本: Cloudera CDH4.5
Installed Components version:
Cloudera Manager Agent Not applicable 4.8.1
Flume NG CDH4 1.4.0+56
Hadoop CDH4 2.0.0+1518
HBase CDH4 0.94.6+165
Lily HBase Indexer (CDH4 only) CDH4 1.3+12
HCatalog (CDH4 only) CDH4 0.5.0+14
HDFS (CDH4 only) CDH4 2.0.0+1518
Hive CDH4 0.10.0+214
HttpFS (CDH4 only) CDH4 2.0.0+1518
Hue CDH4 2.5.0+182
Hue Plugins CDH4 2.5.0+182
Impala Not applicable 1.2.3
Java Not applicable java version "1.6.0_31" Java(TM) SE Runtime Environment (build 1.6.0_31-b04) Java HotSpot(TM) 64-Bit Server VM (build 20.6-b01, mixed mode)
MapReduce 1 (CDH4 only) CDH4 2.0.0+1518
MapReduce 2 (CDH4 only) CDH4 2.0.0+1518
Oozie CDH4 3.3.2+97
Pig CDH4 0.11.0+36
Solr (CDH4 only) CDH4 4.4.0+117
Sqoop2 (CDH4 only) CDH4 1.99.2+98
Yarn (CDH4 only) CDH4 2.0.0+1518
Zookeeper CDH4 3.4.5+24

Dear All,

此問題已經解決囉, 果真還是少了相關 Java lib/class 所導致的, 不過在 SpagoBI 中找不到可以有效定義 Classpath or External Lib Directory 的設定, 所以後來將相關的 JARs 直接放置到 SpagoBI 目錄下的 plugins 內, 重新啟動就可以正常連線了, Thanks all!

Hi Kevin,

Thanks for sharing. 有些問題因為要一些時間驗證，也許比較不容易即時回覆。
Windows 上的 Hadoop / Hive 環境相信未來會有更多人有需求，因此感謝您的經驗分享。

- Jazz

Dear Jazz,

感激您建構維運此繁中園地, 引領大家較輕鬆入門, 在此可以有所學有所貢獻, 交流與分享! Thanks!