kafka+jstorm版本升级安装(三)
版本升级 (使用stable最新版)
成都创新互联公司是一家专注于成都网站建设、成都网站制作与策划设计,双江网站建设哪家好?成都创新互联公司做网站,专注于网站建设十多年,网设计领域的专业建站公司;建站业务涵盖:双江等地区。双江做网站价格咨询:13518219792
zookeeper-3.4.5 --->>> zookeeper-3.4.6
发行日志:http://zookeeper.apache.org/doc/r3.4.6/releasenotes.html
kafka_2.9.2-0.8.1 --->>> kafka_2.9.2-0.8.2.2
发行日志:https://archive.apache.org/dist/kafka/0.8.2.2/RELEASE_NOTES.html
升级说明:http://kafka.apache.org/documentation.html#upgrade_82
jstorm-0.9.2 --->>> jstorm-2.1.0
机器规划(使用hadoop用户,采用解压缩的方式安装)
host | ip | server |
vm13 | 10.1.2.208 | Kafka,QuorumPeerMain(zookeeper),Supervisor(Jstorm),NimbusServer(Jstorm) |
vm7 | 10.1.2.197 | Kafka,QuorumPeerMain(zookeeper),Supervisor(Jstorm) |
vm8 | 10.1.2.198 | Kafka,QuorumPeerMain(zookeeper),Supervisor(Jstorm) |
机器配置
CPU:24核,内存:64G,磁盘2T*4
zookeeper安装
1.进入主目录,cd /home/hadoop
2.下载zookeeper安装包,http://mirrors.hust.edu.cn/apache/zookeeper/stable/zookeeper-3.4.6.tar.gz
3.解压安装包,tar -zxf zookeeper-3.4.6.tar.gz
4.进入目录,cd zookeeper-3.4.6
5.将conf/zoo_sample.cfg拷贝一份命名为zoo.cfg也放在conf目录下,修改其中的配置
vi conf/zoo.cfg
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/data0/zookeeper/data
clientPort=2181
server.1=10.1.2.208:12888:13888
server.2=10.1.2.197:12888:13888
server.3=10.1.2.198:12888:13888
vi conf/log4j.properties
zookeeper.root.logger=INFO,ROLLINGFILE
zookeeper.console.threshold=INFO
zookeeper.log.dir=/data0/zookeeper/logs
zookeeper.log.file=zookeeper.log
zookeeper.log.threshold=INFO
zookeeper.tracelog.dir=/data0/zookeeper/logs
zookeeper.tracelog.file=zookeeper_trace.log
vi bin/zkEnv.sh
if [ "x${ZOO_LOG_DIR}" = "x" ]
then
ZOO_LOG_DIR="/data0/zookeeper/logs"
fi
if [ "x${ZOO_LOG4J_PROP}" = "x" ]
then
ZOO_LOG4J_PROP="INFO,ROLLINGFILE"
fi
分别在每个节点的${zookeeper.log.dir}目录下创建myid,内容为serverId
比如在10.1.2.208上,echo ''1 > /data0/zookeeper/data/myid
6.启动服务
依次在三个节点上启动 ./bin/zkServer.sh start
7.验证测试
使用客户端进入zookeeper控制套台 ./bin/zkCli.sh -server dckafka1:12181
查看当前服务是leader还是flower, ./bin/zkServer.sh status
8.参考文档
log4j配置:http://www.cnblogs.com/zhwbqd/p/3957018.html
http://stackoverflow.com/questions/26612908/why-does-zookeeper-not-use-my-log4j-properties-file-log-directory
kafka安装
1.进入主目录,cd /home/hadoop
2.下载kafka安装包,wget "http://mirrors.hust.edu.cn/apache/kafka/0.8.2.2/kafka_2.9.2-0.8.2.2.tgz"
3.解压安装包,tar -zxf kafka_2.9.2-0.8.2.2.tgz
4.进入目录,cd kafka_2.9.2-0.8.2.2
5.配置修改(更多配置请参考http://kafka.apache.org/documentation.html#topic-config)
vi conf/server.properties
# 每个broker都可以用一个唯一的非负整数id进行标识
broker.id=0
# 服务监听端口
port=9092
# broker处理网络请求的最大线程数,一般情况下数量为CPU核数
num.network.threads=12
# broker处理磁盘IO的最大线程数,数值为CPU核数两倍
num.io.threads=12
# kafka存放数据的路径。这个路径并不是唯一的,可以是多个,路径之间只需要使用逗号分隔即可;每当创建新partition时,都会选择在包含最少partitions的路径下进行
log.dirs=/data2/kafka/data,/data3/kafka/data
# 默认topic分区数,也可以在创建topic时指定
num.partitions=6
# 关闭自动创建topics
auto.create.topics.enable=false
# 允许删除topics
delete.topic.enable=true
# log保留的最大时间,小时单位
log.retention.hours=72
# zookeeper连接字符串的格式为:hostname1:port1, hostname2:port2, hostname3:port3,
# zooKeeper增加一个“chroot”路径,将集群中所有kafka数据存放在特定的路径下,格式为:hostname1:port1,hostname2:port2,hostname3:port3/chroot/path
# 这样设置就将所有kafka集群数据存放在/chroot/path路径下。注意,在你启动broker之前,你必须创建这个路径,并且consumers必须使用相同的连接格式。
zookeeper.connect=vm13:2181,vm7:2181,vm8:2181
vi conf/consumer.properties
# 消费端链接的zookeeper配置,要与server.properties中的zookeeper.connect保存一致
zookeeper.connect=vm13:2181,vm7:2181,vm8:2181
# 一般会在consumer客户端自定义group
group.id=test.consumer-group
vi conf/producer.properties
# kafka broker列表
metadata.broker.list=vm13:9092,vm7:9092,vm8:9092
# 消息异步发送到broker
producer.type=async
# 异步批量发送的消息数
batch.num.messages=200
vi conf/log4j.properties
# 指定服务日志目录
kafka.logs.dir=/data2/kafka/logs
log4j.rootLogger=INFO, kafkaAppender
创建启动脚本 cat > startKafkaServer.sh
nohup ./bin/kafka-server-start.sh config/server.properties &
if [ $? -eq 0 ]; then
echo "Kafka server start success..."
else
echo "Kafka server start success..."
fi
6.启动服务
./startKafkaServer.sh
7.验证测试
a.创建topic
./bin/kafka-topics.sh --zookeeper dckafka1:12181,dckafka2:12181 --create --topic mytest --replication-factor 1 --partitions 9
b.查看topic列表
./bin/kafka-topics.sh --zookeeper dckafka1:12181,dckafka2:12181 --list
c.创建生产者
./bin/kafka-console-producer.sh --broker-list dckafka1:9092,dckafka2:9092,dckafka3:9092 --topic mytest
d.创建消费者
./bin/kafka-console-consumer.sh --zookeeper dckafka1:12181,dckafka2:12181,dckafka3:12181 --topic mytest --from-beginning
jstorm安装
1.进入主目录,cd /home/hadoop
2.下载storm包,wget "http://42.121.19.155/jstorm/jstorm-2.1.0.tar.bz2"
(This version is for Alibaba Global Shopping Festival, November 11th 2015)
3.解压安装包,tar -jxf jstorm-2.1.0.tar.bz2
4.变更目录,mv deploy/jstorm jstorm-2.1.0; cd jstorm-2.1.0
jstorm-2.1.0新增了一些部署和管理脚本脚本,这里先不用理会
5.配置修改(参考https://github.com/alibaba/jstorm/wiki/如何安装)
vi ~/.bashrc
修改或添加如下内容
export JSTORM_HOME=/home/hadoop/jstorm-2.1.0
export PATH=$PATH:$JSTORM_HOME/bin
vi conf/storm.yaml
修改或添加如下内容
storm.zookeeper.servers:
- "dckafka1"
- "dckafka2"
- "dckafka3"
storm.zookeeper.port: 2181
storm.zookeeper.root: "/jstorm2"
storm.local.dir: "/data1/jstorm/data"
jstorm.log.dir: "/data1/jstorm/logs"
supervisor.slots.ports.base: 6800
supervisor.slots.port.cpu.weight: 1.0
supervisor.slots.port.mem.weight: 0.6
6.启动服务
nohup ./bin/jstorm supervisor & (所有机器都执行)
nohup ./bin/jstorm nimbus &(选择一台机器作为nimbus节点)
7.安装jstorm Web UI
mkdir ~/.jstorm
cp $JSTORM_HOME/conf/storm.yaml ~/.jstorm
将jstorm-ui-2.1.0.war放入tomcat容器,启动
访问UI页面:http://127.0.0.1:9091
8.提交topology任务(对于提交客户端,需要在home目录下创建 ln -s .jstorm/storm.yaml $JSTORM_HOME/conf/storm.yaml)
名称栏目:kafka+jstorm版本升级安装(三)
本文网址:http://scyanting.com/article/jpjpog.html