Hbase Hive安装ODBC数据源配置

admin 2023年2月18日23:30:18评论42 views字数 5399阅读17分59秒阅读模式

上一章讲述了大数据环境hadoop和spark的安装,接下来完成未完成的安装工作。

教程中涉及到的安装包通过关注公众账号,发送消息hadoop获取

一、HBase 安装

一个分布式运行的HBase依赖一个Zookeeper集群,所有的节点和客户端都必须能够访问Zookeeper。默认的情况下HBase会管理一个Zookeep集群,即HBase默认自带一个Zookeep集群,这个集群会随着HBase的启动而启动。而在实际的商业项目中通常自己管理一个Zookeeper集群更便于优化配置提高集群工作效率,但需要配置HBase。

1、zookeeper安装

tar -zxvf zookeeper-3.4.14.tar.gz -C  /usr/local

配置zookeeper

cd /usr/local/zookeeper-3.4.14/conf/cp zoo_sample.cfg zoo.cfgmkdir /usr/local/zookeeper-3.4.14/zkdatas

zoo.cfg文件内容修改

#Zookeeper的数据存放目录dataDir=/usr/local/zookeeper-3.4.14/zkdatasclientPort=2181# 保留多少个快照autopurge.snapRetainCount=3# 日志多少小时清理一次autopurge.purgeInterval=1
# 集群中服务器地址server.1=master:2888:3888server.2=slave1:2888:3888server.3=slave2:2888:3888

master上要配置myid

echo 1 > /usr/local/zookeeper-3.4.14/zkdatas/myid

拷贝master的zookeeper到slave1 slave2上

scp -r /usr/local/zookeeper-3.4.14 hadoop@slave1:/usr/local/scp -r /usr/local/zookeeper-3.4.14 hadoop@slave2:/usr/local/

slave上配置myid

ssh slave1echo 2 >  /usr/local/zookeeper-3.4.14/zkdatas/myidssh slave2echo 3 >  /usr/local/zookeeper-3.4.14/zkdatas/myid

三台机器都要配置环境变量

vim /etc/profile  #添加以下内容,三台都要进行
# profile文件末尾添加如下内容export ZOOKEEPER_HOME=/usr/local/zookeeper-3.4.14export PATH=:$ZOOKEEPER_HOME/bin:$PATH

# 环境变量生效source /etc/profile

三台机器都启动

# zookeeper leader和follower是选举机制,没有主从的概念hadoop@slave1:~$ /usr/local/zookeeper-3.4.14/bin/zkServer.sh starthadoop@slave2:~$ /usr/local/zookeeper-3.4.14/bin/zkServer.sh starthadoop@master:~$ /usr/local/zookeeper-3.4.14/bin/zkServer.sh start
# 通过status查看状态/usr/local/zookeeper-3.4.14/bin/zkServer.sh status

2、安装HBase

解下压移动到/usr/local/目录下

tar -zxvf hbase-2.4.15-bin.tar.gzsudo mv hbase-2.4.15 /usr/local/

修改HBase环境变量hbase-env.sh

export JAVA_HOME=/usr/java/jdk1.8.0_333/export HBASE_CLASSPATH=/usr/local/hadoop/etc/hadoopexport HBASE_PID_DIR=/usr/local/hbase-2.4.15/pidsexport HBASE_MANAGES_ZK=false

集群配置文件regionservers

slave1slave2

同步到slave1 slave2

scp -r /usr/local/hbase-2.4.15  hadoop@slave1:/usr/local/scp -r /usr/local/hbase-2.4.15  hadoop@slave2:/usr/local/

启动、查看hbase

# master启动start-hbase.sh/usr/local/hbase-2.4.15/bin/start-hbase.sh
# 通过jps查看、master上存在HMaster slave1和slave2上存在HRegionServerhadoop@master:/usr/local/hbase-2.4.15/bin$ jps7043 RunJar2915 NameNode17028 HMaster3111 SecondaryNameNode3576 Master3276 ResourceManager7293 RunJar275178 Jps207500 QuorumPeerMain
# 当主节点出问题,master切换、等一会发现slave1推举为master/usr/local/hbase-2.4.15/bin/hbase-daemon.sh stop master

二、hive安装

解压hive包

tarzxvf apache-hive-2.1.0-bin.tar.gzmv apache-hive-2.1.0-bin /usr/local/

环境变量

vi /etc/profile
# 增加如下内容export HIVE_HOME=/usr/local/apache-hive-2.1.0-binexport PATH=$PATH:$HIVE_HOME/bin
# 环境变量生效source /etc/profile

安装mysql

 apt-get install mysql-server # 安装好通过默认密码登录、修改账号密码

配置hive

cp hive-default.xml.template hive-site.xmlvim hive-site.xml

修改配置如下

<!-- mysql 驱动 --><property>    <name>javax.jdo.option.ConnectionDriverName</name>    <value>com.mysql.cj.jdbc.Driver</value>    <description>Driver class name for a JDBC metastore</description>  </property><!-- 连接 --><property>    <name>javax.jdo.option.ConnectionURL</name>    <value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value>    <description>      JDBC connect string for a JDBC metastore.    </description>  </property><!-- mysql账号 --> <property>    <name>javax.jdo.option.ConnectionUserName</name>    <value>hive</value>    <description>Username to use against metastore database</description>  </property><!-- mysql密码 --><property>    <name>javax.jdo.option.ConnectionPassword</name>    <value>hivehive</value>    <description>password to use against metastore database</description>  </property>
<property> <name>hive.exec.local.scratchdir</name> <value>/usr/local/apache-hive-2.1.0-bin/tmp/root</value> <description>Local scratch space for Hive jobs</description> </property> <property> <name>hive.querylog.location</name> <value>/usr/local/apache-hive-2.1.0-bin/tmp/root</value> <description>Location of Hive run time structured log file</description> </property> <property> <name>hive.server2.logging.operation.log.location</name> <value>/usr/local/apache-hive-2.1.0-bin/tmp/root/operation_logs</value> <description>Top level directory where operation logs are stored if logging functionality is enabled</description> </property>

同步到slave1 slave2

scp -r /usr/local//usr/local/apache-hive-2.1.0-bin  hadoop@slave1:/usr/local/scp -r /usr/local//usr/local/apache-hive-2.1.0-bin  hadoop@slave2:/usr/local/

在master上使用schematool 初始化metastore的schema:

schematool -initSchema -dbType mysql

运行hive

/usr/local/apache-hive-2.1.0-bin/bin/hive

mysql/hive字符集问题:hive中文乱码

alter database hive character set latin1;set character_set_client=latin1;

测试使用

# 命令行执行/usr/local/apache-hive-2.1.0-bin/bin/beeline -u jdbc:hive2://localhost:10000
# sql cli下CREATE TABLE pokes (foo INT, bar STRING);LOAD DATA LOCAL INPATH '/usr/local/apache-hive-2.1.0-bin/examples/files/kv1.txt' OVERWRITE INTO TABLE pokes;
show databases;use default;show tables;

三、windows下odbc数据源配置

从软件包找到MapRHiveODBC64.msi并安装

Hbase Hive安装ODBC数据源配置

配置如上图,安装好数据源后,本地就能开发调试了。

四、本地开发测试

package main
import ( "context" "fmt" "log"
"github.com/beltran/gohive")
func main() { ctx := context.Background() configuration := gohive.NewConnectConfiguration() configuration.Username = "hive" configuration.Password = "hivehive" configuration.FetchSize = 1000 connection, errConn := gohive.Connect("10.80.31.122", 10000, "NONE", configuration) if errConn != nil { log.Fatal(errConn) }  cursor := connection.Cursor() cursor.Exec(ctx, "SELECT * FROM myTable") if cursor.Err != nil { log.Fatal(cursor.Err) }
var i int32 var s string
for cursor.HasMore(ctx) { if cursor.Err != nil { log.Fatal(cursor.Err) }
m := cursor.RowMap(ctx) fmt.Println(m) cursor.FetchOne(ctx, &i, &s) if cursor.Err != nil { log.Fatal(cursor.Err) } log.Println(i, s) }
cursor.Close() connection.Close()}

测试通过,安装完成

原文始发于微信公众号(数据安全治理技术):Hbase Hive安装ODBC数据源配置

  • 左青龙
  • 微信扫一扫
  • weinxin
  • 右白虎
  • 微信扫一扫
  • weinxin
admin
  • 本文由 发表于 2023年2月18日23:30:18
  • 转载请保留本文链接(CN-SEC中文网:感谢原作者辛苦付出):
                   Hbase Hive安装ODBC数据源配置http://cn-sec.com/archives/1560199.html

发表评论

匿名网友 填写信息