你好，我是独行。 这节课我们来讲讲机器人，机器人的种类有很多，ChatGPT也算是一种机器人，就是聊天机器人嘛，还有像客服机器人，甚至扫地机器人、喷漆机器人等等。不过我们这里特指人形机器人。机器人进化和人类进化很类似：首先，机器人要能站稳，能走直线，...

你好，我是独行。 在过去的几年里，Transformer模型在自然语言处理领域占据了主导地位。自从2017年谷歌提出Transformer以来，BERT、GPT-3等基于Transformer的模型取得了巨大的成功。 然而技术的进步从未停止，最近出现...

你好，我是独行。 前面我们讲了这么多，真正要落地的时候，肯定是需要平台来支撑的，不论是传统小模型还是大模型，需要一个工程化的技术平台来支持才能方便使用，就拿前面讲的RAG举例，知识库肯定要管理的，向量数据库维护也需要界面等等，不可能全部交给开发人员调...

你好，我是独行。 截止到上一节课，大模型本身的基础知识和实践你已经学得差不多了，这节课我们深入大模型的规模化落地过程，把前面学习过的大部分知识都融合进来，你可以把这节课当做企业内部落地大模型的技术方案，我会把各种需要考虑的细节全部放进去，我们就拿上一...

你好，我是独行。 这节课我会给你介绍大模型中非常重要的一个技术指标：上下文长度。我们知道，AI问答类产品和传统问答类产品，在使用层面上有一个很重要的区别就是上下文，AI问答产品可以根据上下文进行更加深层次的问答，给我们的感觉就是很智能，很人性化。 前...

你好，我是独行。 前面我们从0～1构建大模型的那节课里，最后我通过5MB数据训练出的模型，占用了大概500M的存储空间，参数量约1.2亿，当时为了节省时间，只简单跑了一下，这比较极端，可以说大量的参数是浪费的，这里我简单举个例子说明一下，比如公式： ...

你好，我是独行。 这一节课我们来聊聊模型测评，和我们软件测试一样，模型训练完也需要进行测试。软件测试我们一般会关注功能完整性、性能水平、运行稳定性等。大模型也一样，它会关注推理效率、性能等等。我们先来了解下各个厂商为什么要做模型测评。 背景一方面，不...

你好，我是独行。 这节课我会向你介绍大模型背后的“大功臣”——Alignment，翻译过来就是与人类意图对齐。Alignment是一类技术的统称，并非指某一个技术。在第一节课我向你介绍ChatGPT为什么崛起的时候，讲到过NLP技术的突破，其中之一就...

你好，我是独行。 前面第16课，我们从0～1手敲了Transformer，并且进行了一次完整的训练，当时我用的A10-24G显卡，准备了500M的训练文本，结果预估需要1个月时间才能跑完，可见训练对机器的要求有多么高，我们使用的数据集大小才500M，...

你好，我是独行。 上节课我向你介绍了模型的内部结构，为了理解模型的内部结构，我们又顺带回顾了一下模型的实现原理，其中我讲过一句话：模型的训练过程就是不断调整权重的过程，准确一点还应该加上偏置，模型的训练过程就是不断调整权重和偏置的过程，调整的过程依赖...