Kafka的资源隔离是什么

这期内容当中小编将会给大家带来有关Kafka的资源隔离是什么,文章内容丰富且以专业的角度为大家分析和叙述,阅读完这篇文章希望大家可以有所收获。

目前创新互联公司已为近千家的企业提供了网站建设、域名、雅安服务器托管绵阳服务器托管、企业网站设计、乐清网站维护等服务,公司将坚持客户导向、应用为本的策略,正道将秉承"和谐、参与、激情"的文化,与客户和合作伙伴齐心协力一起成长,共同发展。

Kafka的资源隔离是什么

之前由于业务的复杂性和规模不大,大数据平台对于Kafka集群的划分比较简单。于是,一段时间以后导致公司业务数据混杂在一起,某一个业务主题存在的不合理使用都有可能导致某些Broker负载过重,影响到其他正常的业务,甚至某些Broker的故障会出现影响整个集群,导致全公司业务不可用的风险。

针对以上的问题,在集群改造上做了两方面实践:

按功能属性拆分独立的集群

集群内部Topic粒度的资源隔离

集群拆分

按照功能维度拆分多个Kafka物理集群,进行业务隔离,降低运维复杂度。

以目前最重要的埋点数据使用来说,目前拆分为三类集群,各类集群的功能定义如下:

Log集群:各端的埋点数据采集后会优先落地到该集群,所以这个过程不能出现由于Kafka问题导致采集中断,这对Kafka可用性要求很高。因此该集群不会对外提供订阅,保证消费方可控;同时该集群业务也作为离线采集的源头,数据会通过Camus组件按小时时间粒度dump到HDFS中,这部分数据参与后续的离线计算。

全量订阅集群:该集群Topic中的绝大部分数据是从Log集群实时同步过来的。上面我们提到了Log集群的数据是不对外的,因此全量集群就承担了消费订阅的职责。目前主要是用于平台内部的实时任务中,来对多个业务线的数据分析并提供分析服务。

个性定制集群:之前提到过,我们可以根据业务方需求来拆分、合并数据日志源,同时我们还支持定制化Topic,该集群只需要提供分流后Topic的落地存储。

资源隔离

Topic的流量大小是集群内部进行资源隔离的重要依据。例如,我们在业务中埋点日志量较大的两个数据源分别是后端埋点数据源server-event和端上的埋点mobile-event数据源,我们要避免存储两个数据的主题分区分配到集群中同一个Broker上的节点。通过在不同Topic进行物理隔离,就可以避免Broker上的流量发生倾斜。

上述就是小编为大家分享的Kafka的资源隔离是什么了,如果刚好有类似的疑惑,不妨参照上述分析进行理解。如果想知道更多相关知识,欢迎关注创新互联行业资讯频道。


网页名称:Kafka的资源隔离是什么
网站网址:http://scyanting.com/article/pjejgh.html