消费线程数与分区数

这是一个非常经典的Kafka面试题。核心结论是：在同一个消费者组（Consumer Group）内，消费线程数（即消费者实例数）不能超过主题的分区数，且最佳实践是两者相等。

下面为你详细解释这背后的原理和几种场景下的关系。

Kafka 保证：同一个消费者组内，一个分区最多只能被一个消费者线程消费。反过来，一个消费者线程可以消费多个分区。

这个机制是为了保证消息在分区内的有序性。如果多个线程同时消费一个分区，就会破坏顺序。

消费者线程数	关系	结果与说明
= 10	理想情况	每个线程负责1个分区，实现最大并行度，负载均衡，资源利用率最高。
< 10 （如 3 个）	线程数 < 分区数	可行但不完美。每个线程会负责多个分区（比如3、3、4），负载基本均衡，但并行度没有最大化。
> 10 （如 15 个）	线程数 > 分区数	多余线程会闲置。只有10个线程被分配分区，剩下5个线程一直处于空闲状态，浪费资源。这是必须避免的情况。

假设 Topic 有 10 个分区：P0, P1, P2, ..., P9

场景1：10个消费者线程（最佳）
```
线程 C0 -> 分区 P0
线程 C1 -> 分区 P1
...
线程 C9 -> 分区 P9
```
每个线程独占一个分区，吞吐量最大。
场景2：3个消费者线程（线程 < 分区）
```
线程 C0 -> 分区 P0, P1, P2, P3
线程 C1 -> 分区 P4, P5, P6
线程 C2 -> 分区 P7, P8, P9
```
每个线程处理多个分区，负载不绝对均衡但可用。

场景3：15个消费者线程（线程 > 分区）

线程 C0..C9 -> 各自获得一个分区（如 P0..P9）
线程 C10..C14 -> 始终空闲，无分区可分配

如果想在面试中展现深度，可以补充以下几点：

消费者数量是可以动态变化的：当增加或减少消费者线程时，Kafka 会触发 Rebalance（重平衡），重新分配分区。Rebalance 过程中整个消费组会短暂停止消费，所以频繁变动会影响性能。
单个消费者内部的并行：如果业务处理耗时较长，可以在一个消费者里使用多线程处理消息（比如收到消息后提交给线程池）。此时外部消费者线程数仍 ≤ 分区数，但内部处理能力大大增强。注意：这会破坏分区内的消息顺序（除非你用某种键来保证顺序）。
多消费组：如果多个不同的消费组订阅同一个主题，每个组都独立拥有自己的分区分配关系。即：Group A 有10个消费者，Group B 也可以有10个消费者，它们互不影响。
实际调优建议：
- 分区数确定后，消费者线程数设为等于分区数。
- 如果想提高消费吞吐量，优先增加分区数，再增加消费者线程数。
- 如果消费速度远低于生产速度，可以通过增加分区和消费者来水平扩展。

在同一个消费者组中，消费线程数 ≤ 分区数，最佳实践是两者相等；多余的线程会永远空闲，而线程数过少则浪费了并行能力。