Hadoop2.6.0和Spark1.3.1怎么添加LZO压缩支持

本篇内容主要讲解“Hadoop2.6.0和Spark1.3.1怎么添加LZO压缩支持”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“Hadoop2.6.0和Spark1.3.1怎么添加LZO压缩支持”吧!

创新互联专业网站建设,网站制作与网站建设公司,1800元做网站建设全包,免费赠送网站基础优化服务,让你的网站变得更有价值,公司拥有完善的专业网站建设公司流程,能够为企业提供建站服务。使用PHP+MYSQL开发可交付网站源代码;符合网站优化排名的后台管理系统;网站制作收费合理;免费进行网站备案等企业网站建设一条龙服务.

    因为MR在计算过程会产生大量的磁盘和网络的IO,故如果能对MR的中间结果进行压缩,势必能够进一步提升MR的计算性能。而LZO作为一种压缩算法,在具有较高的压缩比例和较好的压缩速度的同时,也允许压缩数据进行block分片。所以现行的集群多采用LZO算法进行压缩。

    本文主要针对Hadoop2.6.0,介绍下添加LZO支持所需要的四个步骤:

  1. 安装LZO

    • 在http://www.oberhumer.com/,下载LZO的tar包lzo-2.09.tar.gz

    • 解压tar包

    • 安装LZO

      • export CFLAGS=-64m

      • ./configure --enable-shared --prefix=/usr/local/lzo/lzo-2.09

      • make

      • sudo make install

      • 安装Hadoop-LZO

    • 将/usr/local/lzo包下所有数据,同步到集群其它所有节点

  2. 安装Hadoop-LZO

    • git clone https://github.com/twitter/hadoop-lzo.git

    • 修改pom文件,将hadoop.current.version从2.4.0修改为2.6.0

    • 安装Hadoop-LZO

      • export CFLAGS=-64m

      • export CXXFLAGS=-64m

      • export C_INCLUDE_PATH=/usr/local/lzo/lzo-2.09/include

      • export LIBRARY_PATH=/usr/local/lzo/lzo-2.09/lib

      • mvn clean package -Dmaven.test.skip=true

      • cd target/native/Linux-amd64-64

      • tar -cBf - -C lib . | tar -xBvf - -C ~

      • 将~目录下生成的libgplcompression.*拷贝到集群各个节点的$HADOOP_HOME/lib/native目录下

      • 将target目录下生成的hadoop-lzo-0.4.20-SNAPSHOT.jar拷贝到集群各个节点的$HADOOP_HOME/share/hadoop/common目录下

  3. Hadoop配置文件修改

    • 在hadoop-env.sh中,添加

    • export LD_LIBRARY_PATH=/usr/local/lzo/lzo-2.09/lib
    • 在core-site.xml中,添加


    • io.compression.codecs
      org.apache.hadoop.io.compress.GzipCodec,
             org.apache.hadoop.io.compress.DefaultCodec,
             com.hadoop.compression.lzo.LzoCodec,
             com.hadoop.compression.lzo.LzopCodec,
             org.apache.hadoop.io.compress.BZip2Codec
              




      io.compression.codec.lzo.class
      com.hadoop.compression.lzo.LzoCodec

    • 在mapred-site.xml中,添加


    • mapred.compress.map.output
      true



      mapred.map.output.compression.codec
      com.hadoop.compression.lzo.LzoCodec



      mapred.child.env
      LD_LIBRARY_PATH=/usr/local/lzo/lzo-2.09/lib

    • 重新启动集群后,即可使用LZO进行数据的压缩操作

  4. Sparkp配置文件修改

    • 在spark-env.sh中,添加如下配置即可

    • export SPARK_LIBRARY_PATH=$SPARK_LIBRARY_PATH:/data/hadoop-2.6.0/lib/native
      export SPARK_CLASSPATH=$SPARK_CLASSPATH:/data/hadoop-2.6.0/share/hadoop/common/hadoop-lzo-0.4.20-SNAPSHOT.jar

到此,相信大家对“Hadoop2.6.0和Spark1.3.1怎么添加LZO压缩支持”有了更深的了解,不妨来实际操作一番吧!这里是创新互联网站,更多相关内容可以进入相关频道进行查询,关注我们,继续学习!


网站栏目:Hadoop2.6.0和Spark1.3.1怎么添加LZO压缩支持
分享链接:http://scyanting.com/article/jegcgi.html