一文读懂Kafka中的“消费”（对标MySQL数据库）

一、通俗理解Kafka的消费消费 读取数据 执行业务处理 记录读取位置Kafka存了一堆实时数据Flink/程序把这些数据拿出来、读一遍、做计算处理这个全过程就叫消费。二、对标关系型数据库MySQL为例Kafka消费 ≈ MySQL 执行 SELECT 查询 逐行处理数据1、场景对标MySQL写 SELECT * FROM order_table; → 查出表里的数据 → 做统计、过滤、分析KafkaFlink任务持续读取Topic数据 → 过滤、开窗、聚合统计 → 这就是消费数据2、核心组件对标Kafka Topic MySQL 一张数据表Kafka 消息每条数据 MySQL 表里的每一行数据消费数据 SELECT 读取表数据 业务计算Offset书签 MySQL 的「读取游标」记录读到第几行了三、Kafka消费和MySQL查询的核心区别既然都是读数据为什么Kafka叫消费因为和普通SQL查询有本质区别这是实时和离线的核心差异。1. 执行模式不同MySQL查询一次性执行查完结束静态读离线数据Kafka消费永久运行、持续监听新数据一来立刻自动读取处理永不停止2. 读取位置不同MySQL每次SELECT都是从头查全表数据Kafka消费靠Offset书签只读新数据、从未读的位置继续读不会重复读历史数据同消费者组内3. 数据属性不同MySQL数据是静态的固定存在表里Kafka数据是动态流式的源源不断新增属于无界数据一言以蔽之Kafka消费就是持续读取流式数据并处理等价于MySQL的SELECT查询只是变成了7*24小时不间断、增量读取的实时查询。博主个人见解非官方