InstallCDH5.11onCentOS7-创新互联

##1)Environment initialization
Note：At least three nodes, 
the Master node at least 6G of memory, 
and the other two at least 4G of memory

|--------------|-----------|-------------|----------------|-----------|--------------------|-------------|
| Host         |   Server  |    Agent    |     zookeeper  |  namenode | secondarynamenode  |   datanode  |
|--------------|-----------|-------------|----------------|-----------|--------------------|-------------|	    
|cdh01 Master  |    Y      |     Y       |        Y       |    Y      |                    |             |
|--------------|-----------|-------------|----------------|-----------|--------------------|-------------|     
|cdh02 slave   |           |     Y       |        Y       |           |     Y              |     Y       |
|--------------|-----------|-------------|----------------|-----------|--------------------|-------------|    
|cdh03 slave   |           |     Y       |        Y       |           |                    |     Y       |
|--------------|-----------|-------------|----------------|-----------|--------------------|-------------|
|cdh04 slave   |           |     Y       |        Y       |           |                    |     Y       |
|--------------|-----------|-------------|----------------|-----------|--------------------|-------------|    
|cdh05 slave   |           |     Y       |        Y       |           |                    |     Y       |
|______________|___________|_____________|________________|___________|____________________|_____________|


#######################################
##Name resolution on every nodes
########################
cat > /etc/hosts <>/etc/sysctl.conf
echo 'net.ipv6.conf.default.disable_ipv6 = 1' >>/etc/sysctl.conf
echo 'vm.swappiness = 0' >>/etc/sysctl.conf
sysctl -p
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo 'echo never > /sys/kernel/mm/transparent_hugepage/defrag' >> /etc/rc.local
chmod +x /etc/rc.d/rc.local

groupadd hadoop -g 700
useradd hadoop -g hadoop -u 700
echo "hadoop123"|passwd --stdin hadoop
echo 'hadoop ALL=(ALL) NOPASSWD: ALL' >>/etc/sudoers

echo "ulimit -SHn 204800" >> /etc/rc.local
echo "ulimit -SHu 204800" >> /etc/rc.local
cat >> /etc/security/limits.conf << EOF
*          soft   nofile    204800
*          hard   nofile    204800
*          soft   nproc     204800
*          hard   nproc     204800
EOF

#Install jdk on every nodes
wget http://god.nongdingbang.net/downloads/auto_jdk_1.8.sh
sh auto_jdk_1.8.sh

#Install java-jdbc on every nodes
cd /home/tools
wget http://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.39.tar.gz
tar zxvf mysql-connector-java-5.1.39.tar.gz
mkdir /usr/share/java/
\cp mysql-connector-java-5.1.39/mysql-connector-java-5.1.39-bin.jar /usr/share/java/mysql-connector-java.jar
########################################################################################################

##2)Deploy local yum for CDH on cdh01
yum -y install epel-release
yum -y install nginx createrepo

cat > /etc/nginx/nginx.conf < /etc/nginx/conf.d/default.conf </etc/yum.repos.d/cloudera-cm.repo </etc/my.cnf</etc/cloudera-scm-server/db.properties </etc/cloudera-scm-agent/config.ini<
专注于为中小企业提供网站设计、网站建设服务,电脑端+手机端+微信端的三站合一,更高效的管理,为中小企业金乡免费做网站提供优质的服务。我们立足成都，凝聚了一批互联网行业人才，有力地推动了千余家企业的稳健成长，帮助中小企业通过网站建设实现规模扩充和转变。另外有需要云服务器可以了解下创新互联scvps.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。
                

                本文标题：InstallCDH5.11onCentOS7-创新互联                

                当前地址：http://scyanting.com/article/dihesg.html
InstallCDH5.11onCentOS7-创新互联

其他资讯
