四川盐亭网站制作公司

如何使用PythonImpyla客户端连接Hive和Impala

这篇文章主要介绍了如何使用Python Impyla客户端连接Hive和Impala，具有一定借鉴价值，感兴趣的朋友可以参考下，希望大家阅读完这篇文章之后大有收获，下面让小编带着大家一起了解一下。

创新互联公司坚信：善待客户，将会成为终身客户。我们能坚持多年，是因为我们一直可值得信赖。我们从不忽悠初访客户，我们用心做好本职工作，不忘初心，方得始终。十年网站建设经验创新互联公司是成都老牌网站营销服务商,为您提供网站建设、网站设计、网站设计、H5场景定制、网站制作、成都品牌网站建设、小程序设计服务,给众多知名企业提供过好品质的建站服务。

使用hive模块

  1. pip install sasl

  2. pip install thrift

  3. pip install thrift-sasl

  4. pip install PyHive

  1. [root@ip-172-31-40-242 ~]# more testpyhive.py

  2. from pyhive import hive

  3. conn = hive.Connection(host='xxxxxxx', port=10000, database='collection',username='')

  4. cursor=conn.cursor()

  5. cursor.execute('select * from tb_partition limit 10')

  6. for result in cursor.fetchall():

  7.     print result



[root@ip-172-31-40-242 ~]# python testpyhive.py 
(u'1', u'2', u'201707')
(u'1', u'2', u'201707')
(u'123', None, u'201709')
(u'123', u'456', u'201709')
(u'45678', u'456', u'201709')
(u'123', None, u'201709')
(u'123', u'456', u'201709')
(u'45678', u'456', u'201709')
(u'123', None, u'201709')
(u'123', u'456', u'201709')


官方API： https://pypi.org/project/PyHive/

如何使用Python Impyla客户端连接Hive和Impala
# -*- coding:utf-8 -*-
from impala.dbapi import connect
conn = connect(host='172.31.46.109',port=10000,database='collection',auth_mechanism='PLAIN')
print(conn)
cursor = conn.cursor()
#
param = '''SET hive.txn.manager=org.apache.hadoop.hive.ql.lockmgr.DbTxnManager;
SET hive.support.concurrency=true;
'''
cursor.execute(param)
cursor.execute('SELECT uid FROM redefine_collection where uid=4028 limit 10')
print cursor.description  # prints the result set's schema
results = cursor.fetchall()
print results
#
# Python连接Impala（ImpalaTest.py）
#
# from impala.dbapi importconnect
#
# conn = connect(host='ip-172-31-26-80.ap-southeast-1.compute.internal',port=21050)
#
# print(conn)
#
# cursor = conn.cursor()
#
# cursor.execute('show databases')
#
# print cursor.description  # prints the result set's schema
#
# results = cursor.fetchall()
#
# print(results)
#
# cursor.execute('SELECT * FROM test limit 10')
#
# print cursor.description  # prints the result set's schema
#
# results = cursor.fetchall()
#
# print(results)

感谢你能够认真阅读完这篇文章，希望小编分享的“如何使用Python Impyla客户端连接Hive和Impala”这篇文章对大家有帮助，同时也希望大家多多支持创新互联，关注创新互联行业资讯频道，更多相关知识等着你来学习!


当前标题：如何使用PythonImpyla客户端连接Hive和Impala
文章出自：http://scyanting.com/article/gdggih.html

其他资讯