0、Spark性能调优的“套路”

你好,我是吴磊,欢迎和我一起探索 Spark 应用的性能优化。 2020年6月,Spark正式发布了新版本,从2.4直接跨越到了3.0。这次大版本升级的亮点就在于性能优化,它添加了诸如自适应查询执行(AQE)、动态分区剪裁(DPP)、扩展的Join ...

69、结束语 | 永远别轻视任何技术,也永远别轻视自己

你好,我是刘超。又一次时隔5个多月,“趣谈Linux操作系统”专栏终于结束了。 之所以说“终于”二字,是因为这门课实在是太硬核了。写作的过程中,几乎每篇文章都超长。极客时间的要求是每篇3000字左右,而这个专栏差不多每篇6000字左右。我之前规划好的...

68、期末测试 | 这些操作系统问题,你真的掌握了吗?

你好,我是刘超。当你看到这篇文章的时候,说明你已经历经九九八十一难,完成了整个课程的学习,你是否已经悟到操作系统的“真谛”了呢?我们今天就来测试一下。 先和你说一下,期末测试题的设计,我采取了和入学测验不一样的思路。当时入学测验里的题目比较细节,类似...

67、知识串讲:用一个创业故事串起操作系统原理(五)

上一节我们说到,马哥的公司现在接个千万级别的项目没有任何问题,但是投资人说,要想冲一把上市,还差点劲,目前的项目虽然大,但是想象力不够丰富。 亿级项目创品牌,战略合作遵协议马哥突然想到,西部有一个智慧城市的订单,金额几个亿,绝对标杆性质的。如果能够参...

66、知识串讲:用一个创业故事串起操作系统原理(四)

上一节,小马的公司已经解决了生存问题,成功从小马晋升马哥。 马哥是一个有危机意识的人。尽管公司开始不断盈利,项目像流水一样,一个接一个,赚了点儿钱,但是他感觉还是有点儿像狗熊掰棒子。因为公司没有积累,永远就都是在做小生意,无法实现成倍的增长。 马哥想...