39、搭建Kafka实时日志流处理平台

你好,我是胡夕。今天我要和你分享的主题是:从0搭建基于Kafka的企业级实时日志流处理平台。 简单来说,我们要实现一些大数据组件的组合,就如同玩乐高玩具一样,把它们“插”在一起,“拼”成一个更大一点的玩具。 在任何一个企业中,服务器每天都会产生很多的...

38、调优Kafka,你做到了吗?

你好,我是胡夕。今天我要和你分享的主题是:如何调优Kafka。 调优目标在做调优之前,我们必须明确优化Kafka的目标是什么。通常来说,调优是为了满足系统常见的非功能性需求。在众多的非功能性需求中,性能绝对是我们最关心的那一个。不同的系统对性能有不同...

37、主流的Kafka监控框架

你好,我是胡夕。今天我要和你分享的主题是:那些主流的Kafka监控框架。 在上一讲中,我们重点讨论了如何监控Kafka集群,主要是侧重于讨论监控原理和监控方法。今天,我们来聊聊具体的监控工具或监控框架。 令人有些遗憾的是,Kafka社区似乎一直没有在...

36、你应该怎么监控Kafka?

你好,我是胡夕。今天我要和你分享的主题是:如何监控Kafka。 监控Kafka,历来都是个老大难的问题。无论是在我维护的微信公众号,还是Kafka QQ群里面,大家问得最多的问题,一定是Kafka的监控。大家提问的内容看似五花八门,但真正想了解的,其...

35、跨集群备份解决方案

你好,我是胡夕。今天我要和你分享的主题是:Kafka的跨集群数据镜像工具MirrorMaker。 一般情况下,我们会使用一套Kafka集群来完成业务,但有些场景确实会需要多套Kafka集群同时工作,比如为了便于实现灾难恢复,你可以在两个机房分别部署单...