Flume采集数据时在HDFS上产生大量小文件的问题怎么办
这篇文章主要为大家展示了“Flume采集数据时在HDFS上产生大量小文件的问题怎么办”,内容简而易懂,条理清晰,希望能够帮助大家解决疑惑,下面让小编带领大家一起研究并学习一下“Flume采集数据时在HDFS上产生大量小文件的问题怎么办”这篇文章吧。
创新互联主要从事做网站、成都网站设计、网页设计、企业做网站、公司建网站等业务。立足成都服务大关,十载网站建设经验,价格优惠、服务专业,欢迎来电咨询建站服务:18980820575
调用agent 配置文件的:
#Describe the sink 添加:
a1.sinks.k1.hdfs.rollSize=0
a1.sinks.k1.hdfs.rollCount=0 rollSize 默认值:1024,当临时文件达到该大小(单位:bytes)时,滚动成目标文件。如果设置成0,则表示不根据临时文件大小来滚动文件。 rollCount 默认值:10,当events数据达到该数量时候,将临时文件滚动成目标文件,如果设置成0,则表示不根据events数据来滚动文件。
还有另一种出现大量小文件对应的解决方案,即设置a1.sinks.k1.hdfs.minBlockReplicas=1。因为文件会因为所在块的复制而滚动文件 待测试......
以上是“Flume采集数据时在HDFS上产生大量小文件的问题怎么办”这篇文章的所有内容,感谢各位的阅读!相信大家都有了一定的了解,希望分享的内容对大家有所帮助,如果还想学习更多知识,欢迎关注创新互联行业资讯频道!
网站栏目:Flume采集数据时在HDFS上产生大量小文件的问题怎么办
URL链接:http://scyanting.com/article/gcoogo.html