如何利用eclipse编写自定义hiveudf函数

这篇文章主要为大家展示了“如何利用eclipse编写自定义hive udf函数”,内容简而易懂,条理清晰,希望能够帮助大家解决疑惑,下面让小编带领大家一起研究并学习一下“如何利用eclipse编写自定义hive udf函数”这篇文章吧。

成都创新互联专注于网站建设,为客户提供成都做网站、网站制作、成都外贸网站建设、网页设计开发服务,多年建网站服务经验,各类网站都可以开发,高端网站设计,公司官网,公司展示网站,网站设计,建网站费用,建网站多少钱,价格优惠,收费合理。

eclipse编写自定义hive udf函数

在做日志分析的过程中,用到了hadoop框架中的hive,不过有些日志处理用hive中的函数处理显得力不从心,就需要用udf来进行扩展处理了

1  在eclipse中新建java project   hiveudf   然后新建class  package(com.afan)  name(UDFLower)

2  添加jar library  hadoop-core-1.1.2.jar(来源hadoop1.1.2)   hive-exec-0.9.0.jar(来源hive-0.9.0)两个文件到project

import org.apache.hadoop.hive.ql.exec.UDF;  

import org.apache.hadoop.io.Text;  

public class UDFLower extends UDF{  

    public Text evaluate(final Text s){  

        if (null == s){  

            return null;  

        }  

        return new Text(s.toString().toLowerCase());  

    }  

}  

4  编译输出打包文件为 udf_hive.jar

第一步:

如何利用eclipse编写自定义hive udf函数

第二步:

如何利用eclipse编写自定义hive udf函数

第三步:

如何利用eclipse编写自定义hive udf函数

第四步:

如何利用eclipse编写自定义hive udf函数

第五步:

如何利用eclipse编写自定义hive udf函数

第六步:

如何利用eclipse编写自定义hive udf函数

5 将udf_hive.jar放入配置好的linux系统的文件夹中路径为/root/data/udf_hive.jar

6 打开hive命令行测试

   hive> add jar /root/data/udf_hive.jar;

Added udf_hive.jar to class path
Added resource: udf_hive.jar

创建udf函数
hive> create temporary function my_lower as 'UDFLower';   // UDFLower'表示你的类的地址,例如你有包名:cn.jiang.UDFLower.java,那么就as后面接‘cn.jiang.UDFLower’,如果没有包名就直接写类名'UDFLower'就行

创建测试数据
hive> create table dual (name string);

导入数据文件test.txt

test.txt文件内容为

WHO

AM

I

HELLO

hive> load data local inpath '/root/data/test.txt' into table dual;

hive> select name from dual;

Total MapReduce jobs = 1
Launching Job 1 out of 1
Number of reduce tasks is set to 0 since there's no reduce operator
Starting Job = job_201105150525_0003, Tracking URL = http://localhost:50030/jobdetails.jsp?jobid=job_201105150525_0003
Kill Command = /usr/local/hadoop/bin/../bin/hadoop job  -Dmapred.job.tracker=localhost:9001 -kill job_201105150525_0003
2011-05-15 06:46:05,459 Stage-1 map = 0%,  reduce = 0%
2011-05-15 06:46:10,905 Stage-1 map = 100%,  reduce = 0%
2011-05-15 06:46:13,963 Stage-1 map = 100%,  reduce = 100%
Ended Job = job_201105150525_0003
OK
WHO
AM
I
HELLO

使用udf函数
hive> select my_lower(name) from dual;
Total MapReduce jobs = 1
Launching Job 1 out of 1
Number of reduce tasks is set to 0 since there's no reduce operator
Starting Job = job_201105150525_0002, Tracking URL = http://localhost:50030/jobdetails.jsp?jobid=job_201105150525_0002
Kill Command = /usr/local/hadoop/bin/../bin/hadoop job  -Dmapred.job.tracker=localhost:9001 -kill job_201105150525_0002
2011-05-15 06:43:26,100 Stage-1 map = 0%,  reduce = 0%
2011-05-15 06:43:34,364 Stage-1 map = 100%,  reduce = 0%
2011-05-15 06:43:37,484 Stage-1 map = 100%,  reduce = 100%
Ended Job = job_201105150525_0002
OK
who
am
i
hello

经测试成功通过

以上是“如何利用eclipse编写自定义hive udf函数”这篇文章的所有内容,感谢各位的阅读!相信大家都有了一定的了解,希望分享的内容对大家有所帮助,如果还想学习更多知识,欢迎关注创新互联行业资讯频道!


名称栏目:如何利用eclipse编写自定义hiveudf函数
本文网址:http://scyanting.com/article/igcgcj.html