Hadoop中如何实现计数器
这篇文章将为大家详细讲解有关Hadoop中如何实现计数器,小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所收获。
创新互联是一家集网站建设,点军企业网站建设,点军品牌网站建设,网站定制,点军网站建设报价,网络营销,网络优化,点军网站推广为一体的创新建站企业,帮助传统企业提升企业形象加强企业竞争力。可充分满足这一群体相比中小企业更为丰富、高端、多元的互联网需求。同时我们时刻保持专业、时尚、前沿,时刻以成就客户成长自我,坚持不断学习、思考、沉淀、净化自己,让我们为更多的企业打造出实用型网站。
package mapreduce; import java.io.IOException; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Counter; import org.apache.hadoop.mapreduce.Mapper; /** * KEYIN 即k1 业务上表示每一行的起始位置,又称偏移量 * VALUEIN 即v1 业务上表示每一行的文本内容 * KEYOUT 即k2 业务上表示每一行的每个单词 * VALUEOUT 即v2 业务上表示每一行的每个单词出现的次数,常量1 * @author Xr * */ public class MyMapper extends Mapper{ /** * 解析每一行的文本,解析成每一个单词,统计每一个单词出现的次数 */ @Override protected void map(LongWritable key, Text value,Context context) throws IOException, InterruptedException { //计数器 Counter counter = context.getCounter("Words", "hello"); //counter.setValue("");//设置初始值 //每一行的文本内容 String string = value.toString(); if(string.contains("hello")){ int times = string.split("hello").length-1; counter.increment(times);//自动累加 } //每一行包含的单词数组 String[] split = string.split(" "); for(String word : split){ context.write(new Text(word), new LongWritable(1)); } } }
关于“Hadoop中如何实现计数器”这篇文章就分享到这里了,希望以上内容可以对大家有一定的帮助,使各位可以学到更多知识,如果觉得文章不错,请把它分享出去让更多的人看到。
网站标题:Hadoop中如何实现计数器
分享网址:http://scyanting.com/article/jdcpjc.html