四川盐亭网站制作公司

大数据--Hadoop环境部署(5)Hive部署-创新互联

Hadoop集群部署:https://www.cnblogs.com/Studywith/p/16948866.html

湖口网站制作公司哪家好，找创新互联公司！从网页设计、网站建设、微信开发、APP开发、响应式网站设计等网站项目制作，到程序开发，运营维护。创新互联公司从2013年开始到现在10年的时间，我们拥有了丰富的建站经验和运维经验，来保证我们的工作的顺利进行。专注于网站建设就选创新互联公司。

一.Hive的三种部署模式

1.嵌入模式
使用内嵌的Derby数据库存储元数据，是Hive最简单的部署方式。嵌入模式下的Hive不支持多会话连接，不适合生产环境，只适合测试环境。
2.本地模式
使用本地独立数据库存储元数据，这里的独立数据库通常使用MySQL数据库。本地模式部署的Hive支持元数据共享，并且支持多会话连接。
3.远程模式
远程模式与本地模式一样，同样是使用独立数据库存储元数据。不同的是，远程模式使用的是远端的独立数据库，而本地模式使用的是本地独立数据库。远程模式主要应用于Hive客户端较多的情况。

二.嵌入模式

1.下载安装包+上传+解压

官网:https://dlcdn.apache.org/hive/

这里下载的是apache-hive-2.3.9-bin.tar.gz,上传到node01的/export/software/,解压到/export/servers/

tar -zxvf /export/software/apache-hive-2.3.9-bin.tar.gz -C /export/servers/

2.系统环境变量

便于在各个文件夹下可以直接调用Hive

vim /etc/profile

HIVE_HOME=/export/servers/apache-hive-2.3.9-bin
PATH=$PATH:$HIVE_HOME/bin
export HIVE_HOME PATH

source /etc/profile

3.Hive配置文件

参考:https://blog.csdn.net/QYHuiiQ/article/details/124157773

(1)hive-env.sh

cd /export/servers/apache-hive-2.3.9-bin/conf
cp hive-env.sh.template hive-env.sh
vim hive-env.sh

export HIVE_CONF_DIR=/export/servers/apache-hive-2.3.9-bin/conf
export JAVA_HOME=/export/servers/jdk1.8.0_161
export HADOOP_HOME=/export/servers/hadoop-2.7.4
export HIVE_AUX_JARS_PATH=/export/servers/apache-hive-2.3.9-bin/lib

(2)hive-site.xml

cp hive-default.xml.template hive-site.xml
vim hive-site.xml

(命令的意思就是全文查找对应符号,将符号替换为指定符号)
#1.将${system:java.io.tmpdir}替换为我们的tmp目录(iotmp，该目录会自动创建)。直接在当前模式下输入以下命令即可替换，不需要切换为insert模式

:%s#${system:java.io.tmpdir}#/export/servers/apache-hive-2.3.9-bin/iotmp#g

#执行完之后，会提示我们替换了4个地方。
 

#2.再将系统用户名替换为root

:%s/${system:user.name}/root#g

#执行完之后提示我们修改了3个地方。

image

image

4.初始化 Derby

在启动Hive之前需要在Hive的安装目录下进行初始化Derby数据库的操作，出现“schemaTool completed”信息，则证明成功初始化Derby数据库。

cd /export/servers/apache-hive-2.3.9-bin/
bin/schematool -initSchema -dbType derby

image

5.启动Hadoop

必须先启动Hadoop再启动Hive

#node01,02,03分别依次执行(具体见上文Hadoop执行)
zkServer.sh start
zkServer.sh status
hadoop-daemon.sh start journalnode

#node01执行
start-dfs.sh
start-yarn.sh

#完成后分别执行jps查看启动情况

node01

image

node02

image

node03

image

6.启动Hive客户端工具

执行“hive”命令启动Hive客户端工具HiveCLI。可以执行“quit；”命令退出Hive客户端工具HiveCLI，此时在Hive安装目录下会默认生成文件derby.log和文件夹metastore_db。

image

另外两种待更新~

你是否还在寻找稳定的海外服务器提供商？创新互联www.cdcxhl.cn海外机房具备T级流量清洗系统配攻击溯源，准确流量调度确保服务器高可用性，企业级服务器适合批量采购，新人活动首月15元起，快前往官网查看详情吧


当前标题：大数据--Hadoop环境部署(5)Hive部署-创新互联
标题链接：http://scyanting.com/article/deseoo.html

其他资讯