你好，我是胡夕。今天我要和你分享的主题是：Kafka的跨集群数据镜像工具MirrorMaker。 一般情况下，我们会使用一套Kafka集群来完成业务，但有些场景确实会需要多套Kafka集群同时工作，比如为了便于实现灾难恢复，你可以在两个机房分别部署单...

你好，我是胡夕。今天我要分享的主题是：Kafka的授权机制。 什么是授权机制？我们在上一讲中花了不少时间讨论Kafka的认证机制，今天我们来看看Kafka的授权机制（Authorization）。所谓授权，一般是指对与信息安全或计算机安全相关的资源授...

你好，我是胡夕。今天我要和你分享的主题是：Kafka的认证机制。 什么是认证机制？所谓认证，又称“验证”“鉴权”，英文是authentication，是指通过一定的手段，完成对用户身份的确认。认证的主要目的是确认当前声称为某种身份的用户确实是所声称的...

你好，我是胡夕。今天我要和你分享的主题是：Kafka的运维利器KafkaAdminClient。 引入原因在上一讲中，我向你介绍了Kafka自带的各种命令行脚本，这些脚本使用起来虽然方便，却有一些弊端。 首先，不论是Windows平台，还是Linux...

你好，我是胡夕。今天我要跟你分享的主题是：Kafka常见的脚本汇总。 命令行脚本概览Kafka默认提供了很多个命令行脚本，用于实现各种各样的功能和运维管理。今天我以2.2版本为例，详细地盘点下这些命令行工具。下图展示了2.2版本提供的所有命令行脚本。...

你好，我是胡夕。今天我要跟你分享的主题是：如何重设消费者组位移。 为什么要重设消费者组位移？我们知道，Kafka和传统的消息引擎在设计上是有很大区别的，其中一个比较显著的区别就是，Kafka的消费者读取消息是可以重演的（replayable）。 像R...

你好，我是胡夕。今天我要和你讨论的主题是：Kafka的动态Broker参数配置。 什么是动态Broker参数配置？在开始今天的分享之前，我们先来复习一下设置Kafka参数，特别是Broker端参数的方法。 在Kafka安装目录的config路径下，有...

你好，我是胡夕。今天我想和你讨论一下Kafka中的主题管理，包括日常的主题管理、特殊主题的管理与运维以及常见的主题错误处理。 主题日常管理所谓的日常管理，无非就是主题的增删改查。你可能会觉得，这有什么好讨论的，官网上不都有命令吗？这部分内容的确比较简...

你好，我是胡夕。今天我要和你分享的主题是：Kafka中的高水位和Leader Epoch机制。 你可能听说过高水位（High Watermark），但不一定耳闻过Leader Epoch。前者是Kafka中非常重要的概念，而后者是社区在0.11版本中...

你好，我是胡夕。今天我要和你分享的主题是：Kafka中的控制器组件。 控制器组件（Controller），是Apache Kafka的核心组件。它的主要作用是在Apache ZooKeeper的帮助下管理和协调整个Kafka集群。集群中任意一台Bro...