你好，我是胡夕。今天我要和你分享的主题是：消费者组重平衡全流程解析。 之前我们聊到过消费者组的重平衡流程，它的作用是让组内所有的消费者实例就消费哪些主题分区达成一致。重平衡需要借助Kafka Broker端的Coordinator组件，在Coordi...

你好，我是胡夕。今天我要和你分享的主题是：Kafka请求是怎么被处理的。 无论是Kafka客户端还是Broker端，它们之间的交互都是通过“请求/响应”的方式完成的。比如，客户端会通过网络发送消息生产请求给Broker，而Broker处理完...

你好，我是胡夕。今天我要和你分享的主题是：Apache Kafka的副本机制。 所谓的副本机制（Replication），也可以称之为备份机制，通常是指分布式系统在多台网络互联的机器上保存有相同的数据拷贝。副本机制有什么好处呢？ 提供数据冗余。即使...

你好，我是胡夕。今天我要跟你分享的主题是：消费者组消费进度监控如何实现。 对于Kafka消费者来说，最重要的事情就是监控它们的消费进度了，或者说是监控它们消费的滞后程度。这个滞后程度有个专门的名称：消费者Lag或Consumer Lag。 所谓滞后程...

你好，我是胡夕。今天我要和你分享的主题是：Kafka的Java消费者是如何管理TCP连接的。 在专栏[第13讲]中，我们专门聊过“Java生产者是如何管理TCP连接资源的”这个话题，你应该还有印象吧？今天算是它的姊妹篇，我们一起来研究下Kafka的J...

你好，我是胡夕。今天我们来聊聊Kafka Java Consumer端多线程消费的实现方案。 目前，计算机的硬件条件已经大大改善，即使是在普通的笔记本电脑上，多核都已经是标配了，更不用说专业的服务器了。如果跑在强劲服务器机器上的应用程序依然是单线程架...

你好，我是胡夕。今天我来跟你聊聊CommitFailedException异常的处理。 说起这个异常，我相信用过Kafka Java Consumer客户端API的你一定不会感到陌生。所谓CommitFailedException，顾名思义就是Con...

你好，我是胡夕。今天我们来聊聊Kafka中位移提交的那些事儿。 之前我们说过，Consumer端有个位移的概念，它和消息在分区中的位移不是一回事儿，虽然它们的英文都是Offset。今天我们要聊的位移是Consumer的消费位移，它记录了Consume...

你好，我是胡夕。今天我要和你分享的内容是：消费者组重平衡能避免吗? 其实在专栏[第15期]中，我们讲过重平衡，也就是Rebalance，现在先来回顾一下这个概念的原理和用途。Rebalance就是让一个Consumer Group下所有的Consum...

你好，我是胡夕。今天我要和你分享的内容是：Kafka中神秘的内部主题（Internal Topic）__consumer_offsets。 __consumer_offsets在Kafka源码中有个更为正式的名字，叫位移主题，即Offsets Top...