基于Hadoop数据仓库Hive1.2部署及使用-创新互联
以下基于上篇Hadoop2.6集群部署:http://lizhenliang.blog.51cto.com/7876557/1661354
成都创新互联主营绛县网站建设的网络公司,主营网站建设方案,APP应用开发,绛县h5重庆小程序开发公司搭建,绛县网站营销推广欢迎绛县等地区企业咨询接下来安装Hadoop数据仓库Hive,上节了解HBase简单使用,听起来HBase与Hive有些类似,概念也有点模糊,那我们先了解下他们之间有什么区别:
HBase是一种分布式、面向列的NoSQL数据库,基于HDFS存储,以表的形式存储数据,表由行和列组成,列划分到列族中。HBase不提供类SQL查询语言,要想像SQL这样查询数据,可以使用Phonix,让SQL查询转换成hbase的扫描和对应的操作,也可以使用现在说讲Hive仓库工具,让HBase作为Hive存储。
Hive是运行在Hadoop之上的数据仓库,将结构化的数据文件映射为一张数据库表,提供简单类SQL查询语言,称为HQL,并将SQL语句转换成MapReduce任务运算。有利于利用SQL语言查询、分析数据,适于处理不频繁变动的数据。Hive底层可以是HBase或者HDFS存储的文件。
两者都是基于Hadoop上不同的技术,相互结合使用,可处理企业中不同类型的业务,利用Hive处理非结构化离线分析统计,利用HBase处理在线查询。
Hive三种元数据存储方式:
1>.本地derby存储,只允许一个用户连接Hive,适用于测试环境
2>.本地/远程MySQL存储,支持多用户连接Hive,适用于生产环境
三、Hive安装与配置(以下将元数据存储到远程MySQL配置)
1.在MySQL创建Hive元数据存放库和连接用户
mysql> create database hive; mysql> grant all on *.* to'hive'@'%' identified by 'hive'; mysql> flush privileges;
2.安装与配置Hive(在HMaster0安装)
# tar zxvf apache-hive-1.2.0-bin.tar.gz # mv apache-hive-1.2.0-bin /opt
# vi hive-site.xmljavax.jdo.option.ConnectionURL jdbc:mysql://192.168.18.210:3306/hive?createDatabaseIfNotExist=true javax.jdo.option.ConnectionDriverName com.mysql.jdbc.Driver javax.jdo.option.ConnectionUserName hive_user javax.jdo.option.ConnectionPassword hive_pass
3.配置系统变量
# vi /etc/profile HIVE_HOME=/opt/apache-hive-1.2.0-bin PATH=$PATH:$HIVE_HOME/bin export HIVE_HOME PATH # source /etc/profile
4.启动Hive
# hive --service metastore & #启动远程模式,否则你只能在本地登录
5.检查是否正常启动
查看进程是否启动:
[root@HMaster0 ~]# jps 2615 DFSZKFailoverController 30027 ResourceManager 29656 NameNode 25451 Jps 10270 HMaster 14975 RunJar #会启动一个RunJar进程
执行hive命令会进入命令界面:
[root@HMaster0 ~]# hive Logging initialized usingconfiguration in file:/opt/apache-hive-1.2.0-bin/conf/hive-log4j.properties hive> show databases; OK default Time taken: 0.986 seconds,Fetched: 1 row(s)
查看数据库,默认有一个default库,现在就可以用你熟悉的SQL语言了。
6.客户端连接Hive(必须有Hadoop环境)
# tar zxvf apache-hive-1.2.0-bin.tar.gz # mv apache-hive-1.2.0-bin /opt
# vi hive-site.xmlhive.metastore.uris thrift://192.168.18.215:9083
配置好连接信息,连接命令行:
# /opt/apache-hive-1.2.0-bin/bin/hive
7.Hive常用SQL命令
7.1 先创建一个测试库
hive> create database test;
7.2 创建tb1表,并指定字段分隔符为tab键(否则会插入NULL)
hive> create table tb1(id int,name string)row format delimited fields terminated by '\t'
如果想再创建一个表,而且表结构和tb1一样,可以这样:
hive> create table tb3 like tb1;
查看下表结构:
hive> describe tb3; OK id int name string Time taken: 0.091 seconds, Fetched: 2 row(s)
7.3 从本地文件中导入数据到Hive表
先创建数据文件,键值要以tab键空格:
# cat kv.txt 1 zhangsan 2 lisi 3 wangwu
再导入数据:
hive> load data local inpath'/root/kv.txt' overwrite into table tb1;
7.4 从HDFS中导入数据到Hive表
# hadoop fs -cat /kv.txt #查看hdfs中要导入的数据 1 zhangsan 2 lisi 3 wangwu hive> load data inpath '/kv.txt'overwrite into table tb1;
7.5 查询是否导入成功
hive> select * from tb1; OK 1 zhangsan 2 lisi 3 wangwu Time taken: 0.209 seconds,Fetched: 3 row(s)
博客地址:http://lizhenliang.blog.51cto.com
上面是基本表的简单操作,为了提高处理性能,Hive引入了分区机制,那我们就了解分区表概念:
1>.分区表是在创建表时指定的分区空间
2>.一个表可以有一个或多个分区,意思把数据划分成块
3>.分区以字段的形式在表结构中,不存放实际数据内容
分区表优点:将表中数据根据条件分配到不同的分区中,缩小查询范围,提高检索速度和处理性能。
单分区表:
7.6 创建单分区表tb2(HDFS表目录下只有一级目录):
hive> create table tb2(idint,name string) partitioned by (dt string) row format delimited fieldsterminated by '\t';
注:dt可以理解为分区名称。
7.7 从文件中把数据导入到Hive分区表,并定义分区信息
hive> load data local inpath '/root/kv.txt' into table tb2 partition (dt='2015-06-26'); hive> load data local inpath '/root/kv.txt' into table tb2 partition (dt='2015-06-27');
7.8 查看表数据
hive> select * from tb2; OK 1 zhangsan 2015-06-26 2 lisi 2015-06-26 3 wangwu 2015-06-26 1 zhangsan 2015-06-27 2 lisi 2015-06-27 3 wangwu 2015-06-27 Time taken: 0.223 seconds,Fetched: 6 row(s)
7.9 查看HDFS仓库中表目录变化
# hadoop fs -ls -R /user/hive/warehouse/test.db/tb2 drwxr-xr-x - root supergroup 0 2015-06-26 04:12/user/hive/warehouse/test.db/tb2/dt=2015-06-26 -rwxr-xr-x 3 root supergroup 27 2015-06-26 04:12 /user/hive/warehouse/test.db/tb2/dt=2015-06-26/kv.txt drwxr-xr-x - root supergroup 0 2015-06-26 04:15/user/hive/warehouse/test.db/tb2/dt=2015-06-27 -rwxr-xr-x 3 root supergroup 27 2015-06-26 04:15/user/hive/warehouse/test.db/tb2/dt=2015-06-27/kv.txt
可以看到tb2表导入的数据根据日期将数据划分到不同目录下。
多分区表:
7.10 创建多分区表tb3(HDFS表目录下有一级目录,一级目录下再有子级目录)
hive> create table tb3(idint,name string) partitioned by (dt string,location string) row formatdelimited fields terminated by '\t';
7.11 从文件中把数据导入到Hive分区表,并定义分区信息
hive> load data local inpath '/root/kv.txt' into table tb3 partition (dt='2015-06- 26',location='beijing'); hive> load data local inpath '/root/kv.txt' into table tb3 partition (dt='2015-06-27',location='shanghai');
7.12 查看表数据
hive> select * from tb3; OK 1 zhangsan 2015-06-26 beijing 2 lisi 2015-06-26 beijing 3 wangwu 2015-06-26 beijing 1 zhangsan 2015-06-26 shanghai 2 lisi 2015-06-26 shanghai 3 wangwu 2015-06-26 shanghai Time taken: 0.208 seconds,Fetched: 6 row(s)
7.13 查看HDFS仓库中表目录变化
# hadoop fs -ls -R /user/hive/warehouse/test.db/tb3
drwxr-xr-x - root supergroup 0 2015-06-26 04:35/user/hive/warehouse/test.db/tb3/dt=2015-06-26
drwxr-xr-x - root supergroup 0 2015-06-26 04:35 /user/hive/warehouse/test.db/tb3/dt=2015-06-26/location=beijing
-rwxr-xr-x 3 root supergroup 27 2015-06-26 04:35/user/hive/warehouse/test.db/tb3/dt=2015-06-26/location=beijing/kv.txt
drwxr-xr-x - root supergroup 0 2015-06-26 04:45 /user/hive/warehouse/test.db/tb3/dt=2015-06-27
drwxr-xr-x - root supergroup 0 2015-06-26 04:45/user/hive/warehouse/test.db/tb3/dt=2015-06-27/location=shanghai
-rwxr-xr-x 3 root supergroup 27 2015-06-26 04:45/user/hive/warehouse/test.db/tb3/dt=2015-06-27/location=shanghai/kv.txt
可以看到表中一级dt分区目录下又分成了location分区。
7.14 查看表分区信息
hive> show partitions tb2;
7.15 根据分区查询数据
hive> select name from tb3 where dt='2015-06-27';
7.16 重命名分区
hive> alter table tb3 partition (dt='2015-06-27',location='shanghai') rename to partition(dt='20150627',location='shanghai');
7.17 删除分区
hive> alter table tb3 droppartition (dt='2015-06-26',location='shanghai');
7.18 模糊搜索表
hive> show tables 'tb*';
7.19 给表新添加一列
hive> alter table tb1 addcolumns (commnet string);
7.20 重命名表
hive> alter table tb1 rename to new_tb1;
7.21 删除表
hive> drop table new_tb1;
8.启动过程中遇到错误
报错1:
[ERROR]Terminal initialization failed; falling back to unsupported
java.lang.IncompatibleClassChangeError:Found class jline.Terminal, but interface was expected
解决方法,将hive/lib下jline包拷贝到hadoop/yarn/lib下:
# cp /opt/apache-hive-1.2.0-bin/lib/jline-2.12.jar /opt/hadoop-2.6.0/share/hadoop/yarn/lib/ # rm /opt/hadoop-2.6.0/share/hadoop/yarn/lib/jline-0.9.94.jar
报错2:
javax.jdo.JDOFatalInternalException:Error creating transactional connection factory
解决方法,在百度下载java连接MySQL包放到hive/lib下:
# cp mysql-connector-java-5.1.10-bin.jar /opt/apache-hive-1.2.0-bin/lib
另外有需要云服务器可以了解下创新互联scvps.cn,海内外云服务器15元起步,三天无理由+7*72小时售后在线,公司持有idc许可证,提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案,具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势,专为企业上云打造定制,能够满足用户丰富、多元化的应用场景需求。
当前题目:基于Hadoop数据仓库Hive1.2部署及使用-创新互联
文章位置:http://scyanting.com/article/cdohsg.html