Streaming执行Python版WordCount
一:先写map类
创新互联专注为客户提供全方位的互联网综合服务,包含不限于成都网站制作、网站设计、武川网络推广、微信平台小程序开发、武川网络营销、武川企业策划、武川品牌公关、搜索引擎seo、人物专访、企业宣传片、企业代运营等,从售前售中售后,我们都将竭诚为您服务,您的肯定,是我们最大的嘉奖;创新互联为所有大学生创业者提供武川建站搭建服务,24小时服务热线:18982081108,官方网址:www.cdcxhl.com
import sys for line in sys.stdin: line = line.strip( ) words = line.split( ) for word in words: print('%s\t%s' % (word, 1))
二:写reduce类
import sys current_word = None current_count = 0 word = None for line in sys.stdin: line = line.strip() word, count = line.split('\t',1) try: count = int(count) except ValueError: continue if current_word == word: current_count += count else: if current_word: print('%s\t%s' % (current_word,current_count)) current_count = count current_word = word if current_word == word: print('%s\t%s' % (current_word,current_count))
三:利用hadoop Streaming执行Python的内容。
hadoop jar /home/hadoop/hadoop-2.6.0-cdh6.5.2/share/hadoop/tools/lib/hadoop-streaming-2.6.0-cdh6.5.2.jar -input /user/hadoop/aa.txt -output /user/hadoop/python_output -mapper "python mapper.py" -reducer "python reducer.py" -file mapper.py-file reducer.py
说明:
输入和输出路径,本身就是hdfs上的,不需要特殊指定hdfs。
不加×××部分的引号的话,会报错误:
Error: java.lang.RuntimeException: PipeMapRed.waitOutputThreads(): subprocess failed with code 2
不加粉色部分的内容的话,会报错误:
Error: java.lang.RuntimeException: Error in configuring object
当前文章:Streaming执行Python版WordCount
网址分享:http://scyanting.com/article/jesdoj.html