12、分布式调度架构之两层调度:物质文明、精神文明两手抓

你好,我是聂鹏程。今天,我来继续带你打卡分布式核心技术。 我在上一篇文章中,与你分享了单体调度。单体调度的核心是,所有节点的资源以及用户的任务均由中央服务器统一管理和调度。因此,中央服务器很容易成为单点瓶颈,会直接导致其支持的调度规模和服务类型受限。...

分布式技术原理与算法解析

13、分布式调度架构之共享状态调度:物质文明、精神文明多手协商抓

你好,我是聂鹏程。今天,我来继续带你打卡分布式核心技术。 在上一篇文章中,我们一起学习了两层调度。在两层调度架构中,第二层调度只知道集群中的部分资源,无法进行全局最优调度。那么,是否有办法解决全局最优调度的问题呢? 答案是肯定的,解决办法就是我今天要...

分布式技术原理与算法解析

14、答疑篇:分布式事务与分布式锁相关问题

你好,我是聂鹏程。 到目前为止,“分布式技术原理与算法解析”专栏已经更新13篇文章了,主要与你介绍了“分布式起源”“分布式协调与同步”和“分布式资源管理与负载调度”。 在这里,我首先要感谢你们在评论区留下的一条条精彩留言。这让我感觉到,你们对分布式技...

分布式技术原理与算法解析

15、分布式计算模式之MR:一门同流合污的艺术

你好,我是聂鹏程。今天,我来继续带你打卡分布式核心技术。 我在[第12篇文章]中与你介绍两层调度时提到,Mesos的第二层调度是由Framework完成的。这里的Framework通常就是计算框架,比如Hadoop、Spark等。用户基于这些计算框架...

分布式技术原理与算法解析

16、分布式计算模式之Stream:一门背锅的艺术

你好,我是聂鹏程。今天,我来继续带你打卡分布式核心技术。 在上一篇文章中,我与你介绍了分布式计算模式中的MapReduce模式。这种模式的核心思想是,将大任务拆分成多个小任务,针对这些小任务分别计算后,再合并各小任务的结果以得到大任务的计算结果。 这...

分布式技术原理与算法解析

17、分布式计算模式之Actor:一门甩锅的艺术

你好,我是聂鹏程。今天,我来继续带你打卡分布式核心技术。 我在前两篇文章中,带你一起学习了MapReduce和Stream计算模式,相信你对批处理和流计算也有了一定的了解。虽然这两种计算模式对数据的处理方式不同,但都是以特定数据类型(分别对应静态数据...

分布式技术原理与算法解析