你好，我是蔡元楠。 今天我要与你分享的主题是“Apache Beam实战冲刺：Beam如何run everywhere”。 你可能已经注意到，自第26讲到第29讲，从Pipeline的输入输出，到Pipeline的设计，再到Pipeline的测试，B...

你好，我是蔡元楠。 今天我要与你分享的主题是“WordCount Beam Pipeline实战”。 前面我们已经学习了Beam的基础数据结构PCollection，基本数据转换操作Transform，还有Pipeline等技术。你一定跃跃欲试，想要...

你好，我是蔡元楠。 今天我要与你分享的主题是“Beam Window：打通流处理的任督二脉”。 在上一讲中，我们一起用Beam编写了第一个完整的WordCount项目，我们所用的例子是统计莎士比亚的文集中最常使用到的一些单词。 这里我们所用到的“莎士...

你好，我是蔡元楠。 今天我要与你分享的主题是“横看成岭侧成峰：再战Streaming WordCount”。 在上一讲中，我们学习了Beam窗口（Window）的概念。当时，我们提到窗口技术的产生是因为我们想要根据时间戳去分组处理一个PCollect...

你好，我是蔡元楠。 今天我要与你分享的主题是“Amazon热销榜Beam Pipeline实战”。 两个月前，亚马逊（Amazon）宣布将关闭中国国内电商业务的消息你一定还记忆犹新。虽然亚马逊遗憾离场，但它依然是目前全球市值最高的电商公司。 作为美国...

你好，我是蔡元楠。 今天我要与你分享的主题是“Facebook游戏实时流处理Beam Pipeline实战”。 Facebook这个社交平台我相信你一定早有耳闻。它除了能够让用户发送消息给好友，分享自己的动态图片和视频之外，还通过自身的App Cen...

你好，我是蔡元楠。 在上一讲中，我们一起对怎样实现一个简易的游戏积分排行榜展开了讨论，也一起研究了如何使用批处理计算的方式在Beam中构建出一个数据流水线来得出排行榜结果。 我们知道，虽然批处理计算可以得到一个完整的结果，但是它也存在着自身的不足，比...

你好，我是蔡元楠。 时间过的真快，转眼间我们已经结束了前五个模块的学习，来到了最后一个模块“大规模数据的挑战和未来”。 一门技术类课程的常见学习路线就是“过去→现在→未来”。这个专栏也是如此，我们首先研究了大数据处理技术的发展历程，从MapReduc...

你好，我是蔡元楠。 今天我要与你分享的主题是“大规模数据处理在深度学习中如何应用？”。 “深度学习”这个词，既是一个人工智能的研究领域，也概括了构建人工神经网络的技术方法。2012年的AlexNet，2015年的Google Inception V3...

你好，我是蔡元楠。 今天我要与你分享的主题是“从SQL到Streaming SQL：突破静态数据查询的次元”。 在前面的章节中，我们介绍了一些流数据处理相关的知识和技术，比如Apache Spark的流处理模块——Spark Streaming和St...