Kafka常用开发、运维命令有哪些

这篇文章主要为大家展示了“Kafka常用开发、运维命令有哪些”,内容简而易懂,条理清晰,希望能够帮助大家解决疑惑,下面让小编带领大家一起研究并学习一下“Kafka常用开发、运维命令有哪些”这篇文章吧。

发展壮大离不开广大客户长期以来的信赖与支持,我们将始终秉承“诚信为本、服务至上”的服务理念,坚持“二合一”的优良服务模式,真诚服务每家企业,认真做好每个细节,不断完善自我,成就企业,实现共赢。行业涉及玻璃贴膜等,在成都网站建设全网营销推广、WAP手机网站、VI设计、软件开发等项目上具有丰富的设计经验。

常用命令:

1.查看帮助

/usr/hdp/2.6.3.0-235/kafka/bin/kafka-topics.sh  --help

2.查看当前集群所有topic

./kafka-topics.sh  --zookeeper salver31.hadoop.unicom:2181 --list

3.查看topic详细信息 (kafkawordcount)

./kafka-topics.sh  --zookeeper salver31.hadoop.unicom:2181 -describe -topic kafkawordcount

4.查看kafka集群详细信息

./kafka-topics.sh  -zookeeper  salver31.hadoop.unicom:2181 --describe

5.新建topic

./kafka-topics.sh --zookeeper salver31.hadoop.unicom:2181 --create --topic topic001       --partitions 1 --replication-factor 1 --config max.message.bytes=64000 --config flush.messages=1

Kafka常用开发、运维命令有哪些

注:

    与主题相关的配置默认使用全局缺省值,也可通过--config  key=value的形式对全局缺省值进行覆盖。上面的topic1自定义了最大消息大小和刷新速度。

6.修改topic配置:

    

    可以使用alter topic命令更改或设置覆盖。

更新分区数:

./kafka-topics.sh --zookeeper salver31.hadoop.unicom:2181 --alter --topic topic001 --partitions 2

更新my-topic的最大消息大小:

./kafka-topics.sh --zookeeper salver31.hadoop.unicom:2181 --alter --topic topic001 --config max.message.bytes=128000

删除自定义配置(删除自定义最大消息字节数):

./kafka-topics.sh --zookeeper salver31.hadoop.unicom:2181 --alter --topic topic001 --delete-config max.message.bytes

7.查看topic各个分区消息的数据量:

 ./kafka-run-class.sh  kafka.tools.GetOffsetShell --broker-list salver31.hadoop.unicom:6667,salver32.hadoop.unicom:6667 --topic kafkawordcount --time -1

8.查看log日志消息内容:

./kafka-run-class.sh kafka.tools.DumpLogSegments --files  /kafka-logs/kafkawordcount-0/00000000000000000000.log --print-data-lo

9.Producer发送消息:

./kafka-console-producer.sh --broker-list salver31.hadoop.unicom:6667,salver32.hadoop.unicom:6667  --topic topic001

10.Consumer接收消息:

./kafka-console-consumer.sh --bootstrap-server salver31.hadoop.unicom:6667,salver32.hadoop.unicom:6667 --from-beginning --topic kafkawordcount

接收消息,三个常用参数:

    consumer-property 参数以键值对的形式指定消费者级别的配置。

    from-beginning 设置消息起始位置开始消费。默认是从新位置 latest开始消费

    delete-consumer-offsets 删除在zookeeper中记录已消费的偏移量

带参数Consumer接收消息:

./kafka-console-consumer.sh --bootstrap-server salver31.hadoop.unicom:6667,salver32.hadoop.unicom:6667 --topic kafkawordcount --consumer-property group.id=consumerGroup1 --consumer-property consumer.id=consumerId1 --from-beginning --delete-consumer-offsets

11.查看topic某个消费组对应的offset:

 ./kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --topic kafkawordcount --zookeeper localhost:2181 --group  consumerGroup1

12.查看topic最大offset:

/usr/hdp/2.6.3.0-235/kafka/bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list salver31.hadoop.unicom:6667,salver32.hadoop.unicom:6667 --topic test511 --time -2

查看最小offset

/usr/hdp/2.6.3.0-235/kafka/bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list salver31.hadoop.unicom:6667,salver32.hadoop.unicom:6667 --topic test511 --time -1

.删除topic

./kafka-topics.sh --zookeeper salver31.hadoop.unicom:2181 --delete --topic topic001

注意:

    这里删除topic并没有真正删除,只是给topic标记为"deleted",如果需要彻底删除topic,请参考kafka进阶中的文章:“kafka进阶:如何彻底删除topic及数据”。

以上是“Kafka常用开发、运维命令有哪些”这篇文章的所有内容,感谢各位的阅读!相信大家都有了一定的了解,希望分享的内容对大家有所帮助,如果还想学习更多知识,欢迎关注创新互联行业资讯频道!


文章标题:Kafka常用开发、运维命令有哪些
分享路径:http://scyanting.com/article/ggeppi.html