HadoopSequnceFile.Writer压缩模式及压缩库举例分析
这篇文章主要讲解了“Hadoop SequnceFile.Writer压缩模式及压缩库举例分析”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“Hadoop SequnceFile.Writer压缩模式及压缩库举例分析”吧!
创新互联建站是专业的隆阳网站建设公司,隆阳接单;提供网站设计、成都网站设计,网页设计,网站设计,建网站,PHP网站建设等专业做网站服务;采用PHP框架,可快速的进行隆阳网站开发网页制作和功能扩展;专业做搜索引擎喜爱的网站,专业的做网站团队,希望更多企业前来合作!
先说明SequnceFile的压缩类型(Compression Type)分为三种NONE,RECORD,BLOCK,通过配置项io.seqfile.compression.type指定:
NONE, Do not compress records 即不压缩
RECORD, Compress values only, each separately. 每条记录都对value进行一次压缩
BLOCK, Compress sequences of records together in blocks. 块压缩,当缓存的key和value字节大小达到指定的阈值,则进行压缩,阈值由配置项io.seqfile.compress.blocksize指定,默认值为1000000字节
RECORD,BLOCK使用的压缩算法是由创建SequnceFile.Writer 时指定的CompressionOption决定的, CompressionOption中CompressionCodec codec属性即为压缩编码器, 不指定时默认为org.apache.hadoop.io.compress.DefaultCodec 对应的底层压缩库为zlib, 除了DefaultCodec还有几个其他的CompressionCodec:GzipCodec Lz4Codec SnappyCodec BZip2Codec 这里不做比较
DefaultCodec在实现zlib压缩的时候,可以指定使用libhadoop.so(hadoop 框架提供的native库)或java.util.zip库。下面了解下如何开启hadoop native库或java zip库:
SequnceFile 默认使用的是org.apache.hadoop.io.compress.DefaultCodec 压缩方式,使用的是Deflate的压缩算法
DefaultCodec在创建压缩器时会执行类ZlibFactory.getZlibCompressor(conf)方法,实现代码片段:
return (isNativeZlibLoaded(conf)) ? new ZlibCompressor(conf) : new BuiltInZlibDeflater(ZlibFactory.getCompressionLevel(conf).compressionLevel());
当加载本地Zlib库时,使用的是ZlibCompressor压缩器类,否则使用BuiltInZlibDeflater类,BuiltInZlibDeflater类是调用java的java.util.zip.Inflater类实现;
其中isNativeZlibLoaded是根据NativeCodeLoader类是否已经加载hadoop native库来判断的,代码如下:
// Try to load native hadoop library and set fallback flag appropriately if(LOG.isDebugEnabled()) { LOG.debug("Trying to load the custom-built native-hadoop library..."); } try { System.loadLibrary("hadoop"); LOG.debug("Loaded the native-hadoop library"); nativeCodeLoaded = true; } catch (Throwable t) { // Ignore failure to load if(LOG.isDebugEnabled()) { LOG.debug("Failed to load native-hadoop with error: " + t); LOG.debug("java.library.path=" + System.getProperty("java.library.path")); } } if (!nativeCodeLoaded) { LOG.warn("Unable to load native-hadoop library for your platform... " + "using builtin-java classes where applicable"); }
其中System.loadLibrary("hadoop"); 在linux上查找的就是libhadoop.so。
总结:当无法加载本地的hadoop库,hadoop会使用java.util.zip.Inflater类来对SequnceFile进行压缩;当可以加载到本地hadoop库,则使用本地的库。
下面来比较实用native hadoop库和不使用native hadoop的性能区别。
不使用native hadoop即在jvm运行参数java.library.path中不包含native库的路径:
java.library.path=/usr/java/packages/lib/amd64:/usr/lib64:/lib64:/lib:/usr/lib
使用则在后面加上hadoop的native库路径:
java.library.path=/usr/java/packages/lib/amd64:/usr/lib64:/lib64:/lib:/usr/lib:$HADOOP_HOME/lib/native
虚拟机集群:
50w 数据,sequnceFile压缩模式为RECORD, key为随机的10字节,value为随机200字节:
native lib disabled: 32689ms after compression 114.07 MB
native lib enabled: 30625ms after compression 114.07 MB
50w 数据,sequnceFile压缩模式为BLOCK, key为随机的10字节,value为随机200字节:
native lib disabled: 11354ms after compression 101.17 MB
native lib enabled: 10699ms after compression 101.17 MB
物理机集群:
50w 数据,sequnceFile压缩模式为RECORD, key为随机的10字节,value为随机200字节:
native lib disabled: 21953ms after compression 114.07 MB
native lib enabled: 24742ms after compression 114.07 MB
100w 数据,sequnceFile压缩模式为RECORD, key为随机的10字节,value为随机200字节:
native lib disabled: 48555ms after compression 228.14 MB
native lib enabled: 45770ms after compression 228.14 MB
100w 数据,sequnceFile压缩模式为RECORD, key为随机的10字节,value为随机200字节, 设置zlib压缩级别为BEST_SPEED:
native lib disabled: 44872ms after compression 228.14 MB
native lib enabled: 51582ms after compression 228.14 MB
100w 数据,sequnceFile压缩模式为BLOCK, key为随机的10字节,value为随机200字节, 设置zlib压缩级别为BEST_SPEED:
native lib disabled: 14374ms after compression 203.54 MB
native lib enabled: 14639ms after compression 203.54 MB
100w 数据,sequnceFile压缩模式为BLOCK, key为随机的10字节,value为随机200字节, 设置zlib压缩级别为DEFAULT_COMPRESSION:
native lib disabled: 15397ms after compression 203.54 MB
native lib enabled: 13669ms after compression 203.54 MB
分析测试结果,总结如下:
当在不同的压缩模式,或不同的数据量,以及不同的zlib压缩级别时,使用hadoop native库压缩和使用java zip库之间没有太大差别
后续再尝试其他的native压缩编码方式: GzipCodec Lz4Codec SnappyCodec BZip2Codec
感谢各位的阅读,以上就是“Hadoop SequnceFile.Writer压缩模式及压缩库举例分析”的内容了,经过本文的学习后,相信大家对Hadoop SequnceFile.Writer压缩模式及压缩库举例分析这一问题有了更深刻的体会,具体使用情况还需要大家实践验证。这里是创新互联,小编将为大家推送更多相关知识点的文章,欢迎关注!
文章题目:HadoopSequnceFile.Writer压缩模式及压缩库举例分析
本文来源:http://scyanting.com/article/jdhcgo.html