0、开篇词:聚沙成塔,构建高性能、分布式爬虫项目你好,我是郑建勋。欢迎跟我一起学习 Go 语言,踏上搭建高并发、分布式、微服务爬虫项目的征程。 不知道你有没有发现,我们身边许多宏伟的杰作其实都是由很简单的元素组成的。金字塔和狮身人面像就是一堆沙石,作为生物体遗传密码的DNA,也不过就是由几种基础的...2025-12-13Go进阶-分布式爬虫实战
1、知识回顾:Go基础知识你真的掌握了吗你好,我是郑建勋。 在开篇词我们就提到,这个专栏的目标就是完成一个结合了高并发、分布式、微服务的复杂Go语言项目。 构建一个复杂的Go项目就和搭建复杂的积木一样。想象一下,当我们想搭建复杂的积木时,首先需要准备良好的环境(宽阔整洁的桌面、收纳盒),拥...2025-12-13Go进阶-分布式爬虫实战
2、内有乾坤:Go语言六大基础知识体系你好,我是郑建勋。 这节课,我们继续来回顾 Go 语言的基础知识,帮助你在前期查漏补缺,打好项目开发的基础。在上节课,我把Go的基础知识分为了六个部分,分别是开发环境、基础语法、语法特性、并发编程、项目组织、工具与库。 现在,我们紧跟上节课的内容,继...2025-12-13Go进阶-分布式爬虫实战
3、进阶路线:如何深入学习Go语言你好,我是郑建勋。 之前的两节课程,我们回顾了一下Go语言的基础知识,掌握这些基础知识已经足够让我们完成一些了不起的项目了。不过,这离深入了解Go语言还有很长的路要走。不管你是想应聘一个更好的工作,希望解决复杂的问题,还是希望更自然地写出高性能的代码...2025-12-13Go进阶-分布式爬虫实战
4、敏捷之道:大型Go项目的开发流程是怎样的你好,我是郑建勋。 前面,我们介绍了和Go语言相关的基础知识与学习方法,但仅仅掌握高级语言的语法与原理还不足以让我们完成一个真实的项目。 要想完成一个项目,需要遵循一些基本的开发流程。一个优秀的开发流程可以帮助我们识别和降低开发过程中可能面临的风险,...2025-12-13Go进阶-分布式爬虫实战
5、全局视野:洞悉项目开发流程与规范你好,我是郑建勋。 上节课,我讲解了大型互联网产品开发流程中的需求阶段和设计阶段。这节课,我们继续看看后面五个阶段:研发实现阶段、测试阶段、上线部署阶段、运维阶段和运营阶段。 首先让我们从研发实现阶段说起。 研发实现阶段确定了设计方案和开发排期之后,...2025-12-13Go进阶-分布式爬虫实战
6、免费的宝库: 什么是网络爬虫你好,我是郑建勋。 网络爬虫(Web Crawler)又称为网络蜘蛛(Web Spider),是一种自动获取互联网信息的网络机器人(Web Robot)。想想还真是非常形象,蜘蛛在相互连接的网站中,辛苦地从一个网站爬到另一个网站获取信息,又像一个不知...2025-12-13Go进阶-分布式爬虫实战
7、冰川之下:深入Go高并发网络模型你好,我是郑建勋。 很多人认为,Go语言是开发网络服务的极佳选择。因为开发者能够简单、高效地处理大量的并发请求。 之所以说Go语言开发简单,是因为Go是以同步的方式来处理网络I/O的,它会等待网络I/O就绪后,才继续下面的流程,这...2025-12-13Go进阶-分布式爬虫实战
8、高性能设计:自顶向下的高性能Go程序设计与优化你好,我是郑建勋。 用最少的资源将程序的性能优势最大化,这不仅是每一个有追求的开发者的目标,更是企业为了达到更好的用户体验(例如更小的响应时间)、更低的成本面临的现实困境。 性能问题无处不在,从设计、开发阶段如何避免性能问题,再到如何发现问题,发现问...2025-12-13Go进阶-分布式爬虫实战
9、破解性能谜题:性能优化的五层境界你好,我是郑建勋。 俗话说:“九层之台,起于累土”,在上节课,我们搭建起了Go程序性能优化的分层分析范式,并讲解了系统设计与程序设计层面需要考虑的性能问题。 在这节课,我将更进一步,分析一下影响高性能程序的底层基石:代码实施、操作系统与硬件。分析如何...2025-12-13Go进阶-分布式爬虫实战