你好，我是邢云阳。 不知道大家 2025 年过得怎么样？反正我是没怎么过好，春节开始就忙得很。起因就是 DeepSeek 这货在春节前突然就成了网红了。红到什么程度呢？过年走亲戚，听到最多的就是俩词——哪吒和 DeepSeek。连我 58 岁的大爷都...

你好，我是邢云阳。 飞雪连天射白鹿，笑书神侠倚碧鸳。金庸老先生的著作人物众多，武学精妙绝伦，剧情跌宕起伏，非常吸引人。我在上大学时，曾经两天时间就读完了《射雕英雄传》。 恰逢最近 DeepSeek 模型爆火，“模型蒸馏”这个专业名词也频繁出现在大众视...

你好，我是邢云阳。 上节课，我们学习了DeepSeek如何开通与使用，不知道你是不是已经尝试了它的官方对话模式呢？ 不过经常使用 AI 的同学可能会发现，即便 DeepSeek 这样大模型里的佼佼者，也不是万能的。有很多内容其实它是回答不了的。特别是...

你好，我是邢云阳。 学完我专门为你准备的前置课程，相信对于目前主流的 AI 开发到底是在开发什么，你已经有了一定的认知，这对于你学习后面的课程会有很大的帮助。 从这一章起，我会为你揭秘在云公司里，针对不同的用户场景，DeepSeek 模型是如何部署的...

你好，我是邢云阳。 在上一节课，我们使用 Ollama 部署了一个 DeepSeek-R1:32B 的模型，并通过修改聊天模板，完成了让模型强制 think 的修改。今天这节课，我们继续上一节课的思路，完成多 Ollama 实例的负载均衡的配置，使之...

你好，我是邢云阳。 前面的两节课，我使用 Docker 的方式，在服务器上为你演示了基于 Ollama 的量化版 DeepSeek 的部署。虽然 Docker 容器的方式运行简单，一条 docker 命令便可以拉起，但通常只能够运用在测试环境，供研发...

你好，我是邢云阳。 前面两节课，我们完成了私有化部署的入门。我们学到了一种非常简单的易上手的方案，即利用网关 + 多个 Ollama 实现负载均衡的大模型集群的方案。这种方案的本质还是单卡单模型，但通过负载均衡技术，可以将一次对话任务，分配到多个模型...

你好，我是邢云阳。 在上节课中，我们学习了 DeepSeek 官方在做私有化部署时，推荐的一个工具，也就是 vLLM。通过学习 vLLM，想必你对分布式部署是怎么回事儿，已经有了初步感知。 今天，我们将学习另一个组件——Ray。随后，我们将在一台配备...

你好，我是邢云阳。 经过几节课的学习，我们已经掌握了两种行业主流的模型部署方式。但其实对于大多数普通同学来说，前面两种方式很难长期使用，毕竟 GPU 卡实在是太贵了，普通人根本消费不起。 大模型动辄数十上百亿的参数，对运行机器的内存提出了很高的要求，...

你好，我是邢云阳。 通过前面的学习，相信你对常用的几种模型部署方案已经有所了解。这一章剩余的两节课我会分别带你实操一下微调和蒸馏，让你对于这项技术有一个直观的概念。这节课我们先来看微调。 什么是微调？所谓微调，就是对模型进行微微的调整。我举一个例子，...