我们都知道 Kafka 的 topic 资源比较“贵”,所以一般会给项目 topic 权限限制,按需申请。Milvus 会在建新表时自动申请 kafka topic 资源,这时候自动申请不到怎么办?手动配置 topic 要符合什么规范才能被 Milvus 使用?

通过本文的小实践,大家可以了解 Milvus 如何为 Kafka Topic 命名、使用 Topic 的机制,以及用户在 Kafka Topic 资源权限紧张情况下,对 Kafka Topic 的预设及使用。希望能给大家启发的同时增加对 Milvus 消息系统的了解。

Topic 在 Milvus 中的作用

Kafka 是一个分布式流处理系统,流处理系统使它可以像消息队列一样 publish 或者 subscribe 消息。Topic 用于建立 Producer 和 Consumer 之间的订阅关系。生产者发送消息到指定的 Topic,消息者从这个 Topic 下面消费消息(Kafka 把消息存在 topic 中,每一条消息包含 key、value、timestamp)。

在Milvus 2.x 中,流式消息经过 Proxy 生产到 Kafka topic 中,再由 Data Node 节点消费到对象存储中。

参考链接:https://milvus.io/docs/data_processing.md

Milvus Kafka Topic 命名规则

命名规则

  • 配置文件中的 chanNamePrefix:
#Channelnamegenerationrule:${namePrefix}-${ChannelIdx}
common:
chanNamePrefix:
cluster:"by-dev"
rootCoordDml:"rootcoord-dml"
rootCoordDelta:"rootcoord-delta"
dataCoordTimeTick:"datacoord-timetick-channel"
  • Milvus 会创建三种类型的 Topic:

Datacoord-timetick-channel——chanNamePrefix.cluster-chanNamePrefix.dataCoordTimeTick

by-dev-datacoord-timetick-channel

Dml channel–chanNamePrefix.cluster-chanNamePrefix.rootCoordDml

1by-dev-rootcoord-dml_0
2...
3by-dev-rootcoord-dml_255

Delta channel–chanNamePrefix.cluster-chanNamePrefix.rootCoordDelta

1by-dev-rootcoord-delta_0
2...
3by-dev-rootcoord-delta_255

机制

  1. 在启动 Milvus 集群时,会创建唯一的 dataCoordTimeTick:by-dev-datacoord-timetick-channel

  2. 当创建一个新的 Collection 时,系统会创建对应的 rootCoordDml 和 rootCoordDelta 。由于一个表默认有 2 个 shard number ,共创建 22 共 4 个 topic(若shard number 为 4 ,则创建 42 个 topic,以此类推),名称如下:

1by-dev-rootcoord-dml_0
2by-dev-rootcoord-dml_1
3by-dev-rootcoord-delta_0
4by-dev-rootcoord-delta_1

默认 rootCoord.dmlChannelNum 是 256(需要注意的是在新版本中我们调低了默认值),意思是最多创建 dml-channel topic 256 个,如果 collection 数量所需 topic 超过该值,则会对 topic 进行复用。所以我们可以通过控制 rootCoord.dmlChannelNum 来控制 topic 的复用。

Milvus Kafka Topic 预设方案

在了解了 Milvus 对 Topic 的命名和复用规则之后,我们可以按规则预设 Kafka Topic。

  1. 根据命名规则预设对应的 rootCoordDml 和 rootCoordDelta 相关 Topic。
1 by-dev-rootcoord-dml_22 by-dev-rootcoord-dml_33 by-dev-rootcoord-delta_24 by-dev-rootcoord-delta_3
  1. 修改 rootCoord.dmlChannelNum 参数为4,控制 dml-channel topic 的使用数量。

  2. 在系统读取到预设 topic 时直接使用,不再重新申请。

(本文作者张翔系 Zilliz 客户工程师;曾杰系 Zilliz 主任工程师)

本文由 mdnice 多平台发布