kafka和storm集群的环境安装
前言
storm和kafka集群安装是没有必然联系的,我将这两个写在一起,是因为他们都是由zookeeper进行管理的,也都依赖于JDK的环境,为了不重复再写一遍配置,所以我将这两个写在一起。若只需一个,只需挑选自己选择的阅读即可。
灌南网站建设公司创新互联,灌南网站设计制作,有大型网站制作公司丰富经验。已为灌南上1000家提供企业网站建设服务。企业网站搭建\外贸网站制作要多少钱,请找那个售后服务好的灌南做网站的公司定做!
这两者的依赖如下:
- Storm集群:JDK1.8 , Zookeeper3.4,Storm1.1.1;
- Kafa集群: JDK1.8 ,Zookeeper3.4 ,Kafka2.12;
说明: Storm1.0 和Kafka2.0对JDK要求是1.7以上,Zookeeper3.0以上。
下载地址:
Zookeeper:https://zookeeper.apache.org/releases.html#download
Storm: http://storm.apache.org/downloads.html
Kafka: http://kafka.apache.org/downloads
JDK安装
每台机器都要安装JDK!!!
说明: 一般CentOS自带了openjdk,但是我们这里使用的是oracle的JDK。所以要写卸载openjdk,然后再安装在oracle下载好的JDK。如果已经卸载,可以跳过此步骤。
首先输入 java -version
查看是否安装了JDK,如果安装了,但版本不适合的话,就卸载
可以使用进行Ctrl+C 退出
可以看到数据已经正常消费了。
5,kafka的一些常用命令
1.启动和关闭kafka
bin/kafka-server-start.sh config/server.properties >>/dev/null 2>&1 &
bin/kafka-server-stop.sh
2.查看kafka集群中的消息队列和具体队列
查看集群所有的topic
kafka-topics.sh --zookeeper master:2181,slave1:2181,slave2:2181 --list
查看一个topic的信息
kafka-topics.sh --zookeeper master:2181 --describe --topic t_test
3.创建Topic
kafka-topics.sh --zookeeper master:2181 --create --topic t_test --partitions 5 --replication-factor 2
4.生产数据和消费数据
kafka-console-producer.sh --broker-list master:9092 --topic t_test
Ctrl+D 退出
kafka-console-consumer.sh --zookeeper master:2181 --topic t_test --from-beginning
Ctrl+C 退出
5.kafka的删除命令
kafka-topics.sh --delete --zookeeper master:2181 --topic t_test
6,添加分区
kafka-topics.sh --alter --topict_test --zookeeper master:2181 --partitions 10
其它
Storm环境搭建参考官方文档:
http://storm.apache.org/releases/1.1.1/Setting-up-a-Storm-cluster.html
Kafka环境搭建参考官方文档:
http://kafka.apache.org/quickstart
到此,本文结束,谢谢阅读!
当前标题:kafka和storm集群的环境安装
网站路径:http://scyanting.com/article/gccgsj.html