大数据平台CDH搭建-创新互联
一、概述
Cloudera版本(Cloudera’s Distribution Including Apache Hadoop,简称“CDH”),基于Web的用户界面,支持大多数Hadoop组件,包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop,简化了大数据平台的安装、使用难度。
创新互联公司是一家网站设计公司,集创意、互联网应用、软件技术为一体的创意网站建设服务商,主营产品:成都响应式网站建设、成都品牌网站建设、网络营销推广。我们专注企业品牌在网站中的整体树立,网络互动的体验,以及在手机等移动端的优质呈现。成都网站设计、成都做网站、移动互联产品、网络运营、VI设计、云产品.运维为核心业务。为用户提供一站式解决方案,我们深知市场的竞争激烈,认真对待每位客户,为客户提供赏析悦目的作品,网站的价值服务。二、安装部署
序号 | IP地址 | 主机名 | 系统版本 |
---|---|---|---|
1 | 172.20.2.222 | cm-server | centos7.3 |
2 | 172.20.2.203 | hadoop-1 | centos7.3 |
3 | 172.20.2.204 | hadoop-2 | centos7.3 |
4 | 172.20.2.205 | hadoop-3 | centos7.3 |
2.2.1 基础环境部署
a.修改主机名配置hosts
systemctl stop firewalld
hostnamectl set-hostname cm-server #更改个主机名
sed -i 's/SELINUX=enforcing/SELINUX=disable/g' /etc/selinux/config
setenforce 0
cat >>/etc/hosts<
b.配置cm-server免密钥登录其他节点
ssh-keygen -t rsa #在cm-server生成密钥对
for num in `seq 1 3`;do ssh-copy-id -i /root/.ssh/id_rsa.pub root@hadoop-$num;done
c.在cm-server安装数据库
在cm-server上安装mariadb,用于后期数据存储
yum install mariadb*
systemctl start mariadb
mysql -uroot password "mysqladmin"
登录数据库后我们采用root登录
e.java环境配置
如果系统有安装java环境卸载干净使用oracle的jdk,此处使用jdk-7u80-linux-x64.rpm
,在各节点均配置java环境
rpm -ivh jdk-7u80-linux-x64.rpm
cat >/etc/profile.d/java.sh<
f.配置各节点服务器需求
sysctl -w vm.swappiness=10
echo "vm.swappiness=10" >>/etc/sysctl.conf
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
2.2.2 Cloudera Manager安装
a.下载解压相关软件包
mkdir /software && cd /software
wget -c https://archive.cloudera.com/cm5/cm/5/cloudera-manager-centos7-cm5.14.1_x86_64.tar.gz
wget -c http://archive.cloudera.com/cdh6/parcels/5.14.2/CDH-5.14.2-1.cdh6.14.2.p0.3-el7.parcel
wget -c http://archive.cloudera.com/cdh6/parcels/5.14.2/CDH-5.14.2-1.cdh6.14.2.p0.3-el7.parcel.sha1 -O CDH-5.14.2-1.cdh6.14.2.p0.3-el7.parcel.sha
wget -c http://archive.cloudera.com/cdh6/parcels/5.14.2/manifest.json
wget -c https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.46.zip
tar -zxvf cloudera-manager-centos7-cm5.14.1_x86_64.tar.gz -C /opt/ #解压cm包
unzip mysql-connector-java-5.1.46.zip #解压java-mysql连接jar包
cp mysql-connector-java-5.1.46/mysql-connector-java-5.1.46-bin.jar /opt/cm-5.14.1/share/cmf/lib/ #将jar包复制到cm的lib目录下
cp mysql-connector-java-5.1.46/mysql-connector-java-5.1.46-bin.jar
b.创建用户及初始化数据库
useradd --system --home=/opt/cm-5.14.1/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm #在各个节点均创建用户
vim /opt/cm-5.14.1/etc/cloudera-scm-agent/config.ini将其中的server_host=cm-server #指向cm-server
usage: /opt/cm-5.14.1/share/cmf/schema/scm_prepare_database.sh [options] (postgresql|mysql|oracle) database username [password] #使用选项
/opt/cm-5.14.1/share/cmf/schema/scm_prepare_database.sh mysql cmdb -h"cm-server" -uroot -pmysqladmin --scm-host cm-server scm scm scm
c.将文件将cm-server修改完成的文件分发到其他各节点
for i in `seq 1 3`;do scp -r /opt/cm-5.14.1 hadoop-$i:/opt/;done
d.创建本地源
mv CDH-5.14.2-1.cdh6.14.2.p0.3-el7.parcel* manifest.json /opt/cloudera/parcel-repo/
e.启动服务
在cm-server启动server和agent服务,在其他节点启动agent服务
/opt/cm-5.14.1/etc/init.d/cloudera-scm-server start
/opt/cm-5.14.1/etc/init.d/cloudera-scm-agent start
2.2.2 Cloudera Manager的web界面配置
服务器均启动后,可以浏览器访问cm-server的7180端口,用户名/密码为admin/admin
接受协议继续
可以选择适用60天
提示一些涉及许可证的信息
勾选管理的主机继续操作
选择CDH-5.14版本
parcel安装
主机正确性检查
群集设置(选择安装的服务)
自定义角色分配,选择安装在那个节点上
数据库设置
需要提前创建数据库及授权其他节点可以正常连接
审核更改
集群安装
完成安装
后期可添加服务
另外有需要云服务器可以了解下创新互联scvps.cn,海内外云服务器15元起步,三天无理由+7*72小时售后在线,公司持有idc许可证,提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案,具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势,专为企业上云打造定制,能够满足用户丰富、多元化的应用场景需求。
当前名称:大数据平台CDH搭建-创新互联
文章转载:http://scyanting.com/article/gdjhi.html