你好，我是蔡元楠。 今天我要与你分享的主题是CAP定理。 在分布式系统的两讲中，我们一起学习到了两个重要的概念：可用性和一致性。 而今天，我想和你讲解一个与这两个概念相关，并且在设计分布式系统架构时都会讨论到的一个定理——CAP定理（CAP Theo...

你好，我是蔡元楠。 今天我想要与你分享的是在处理大规模数据中十分流行的一种设计模式：发布/订阅模式（Publish/Subscribe Pattern），有些地方也称它为Pub/Sub。 在了解发布/订阅模式之...

你好，我是蔡元楠。 今天我要与你分享的主题是“Workflow设计模式”。 在上一讲中，我们一起学习了大规模数据处理的两种处理模式——批处理和流处理。 利用好这两种处理模式，作为架构师的你就可以运筹帷幄，根据实际需求搭建出一套符合自己应用的数据处理系...

你好，我是蔡元楠。 今天，我将会带领你一起学习在进行大规模数据处理时，无论如何也绕不开的两个处理模式：批处理（Batching Processing）和流处理（Streaming Processing）。 在我看来，大规模的视频流系统、大规模物联网（...

你好，我是蔡元楠。 上一讲中，我们学习了如何用服务等级协议（SLA）来评估我们设计的分布式系统，并了解了几个常见的SLA指标。 今天我们继续来探索分布式系统的另外几个重要基础概念。 可扩展性还是从我们为什么需要分布式系统讲起。原因是我们要面对的数据量...

你好，我是蔡元楠。 从今天开始，我们进入专栏的第二模块。通过这一模块的学习，带你一起夯实大规模数据处理的基础。 首先，我将结合硅谷顶尖科技公司的最佳实践 (Best Practice) ，和你一起分享在设计分布式系统架构时，我们有可能会碰到哪些雷区？...

你好，我是蔡元楠。 今天我要与你分享的主题是“怎样实现大型电商热销榜”。 我在Google面试过很多优秀的候选人，应对普通的编程问题coding能力很强，算法数据结构也应用得不错。 可是当我追问数据规模变大时该怎么设计系统，他们却说不出所以然来。这说...

你好，我是蔡元楠。 在上一讲中，我们介绍了2014年之前的大数据历史，也就是MapReduce作为数据处理的默认标准的时代。重点探讨了MapReduce面对日益复杂的业务逻辑时表现出的不足之处，那就是：1. 维护成本高；2. 时间性能不足。 同时，我...

你好，我是蔡元楠。 今天我要与你分享的主题是“为什么MapReduce会被硅谷一线公司淘汰”。 我有幸几次与来Google参观的同行进行交流，当谈起数据处理技术时，他们总是试图打探MapReduce方面的经验。 这一点让我颇感惊讶，因为在硅谷，早已没...

你好，我是蔡元楠。目前是Google Brain的软件工程师。 在接下来的4个月时间里，我会与你一起探索大规模数据处理的世界。 在开始我们的系统性学习之前，我想先和你分享两个我亲历的故事，借此告诉你，我为什么要开这个专栏。 2014年，我刚开始在美国...