Kafka 运维工作流

Topic 管理

1. 选择集群并检查 Broker 元数据。
2. 在 Topic 列表查看分区、复制因子和配置。
3. 创建 Topic 时明确分区数、复制因子和必要配置。
4. 扩容分区或更新配置前确认下游影响。
5. 删除 Topic 前复核名称、数据保留和恢复方案。

消息浏览与生产

• 按分区、偏移模式或时间定位消息。
• 使用服务端关键字过滤、实时追踪和跨分区查找任务。
• 根据 wire format 解码 Avro 或 JSON Schema。
• 下载原始 Key/Value 或导出 JSONL。
• 小批量生产支持 JSONL、CSV 和文本输入，并逐条返回结果。

生产消息前会进行校验和确认。生产环境应限制批量大小，并使用专用测试 Topic 验证格式。

消费组偏移量

1. 查看分区级 lag 和当前 offset。
2. 选择重置策略和目标分区。
3. 先执行 dry-run，确认每个分区的新旧 offset。
4. 停止或协调相关消费者。
5. 执行重置并观察消费者恢复情况。

生态管理

Schema Registry 支持 Subject/Version 浏览和 Schema 注册；Kafka Connect 支持 Connector 创建、暂停、恢复、重启和 Task 重启；ACL 页面提供浏览、创建和删除。所有写操作都应复核目标集群和连接身份。