语言大模型是基于人工神经网络的，简单的说，基础版的ChatGPT 就是拿输入（一串数）和一堆“固定”的数计算出相应的结果。 后面出现了https://www.perplexity.ai/、https://poe.com/、GPTs、Gemini 1.5、https://kimi.ai/这几个产品，还有相关的概念RAG（检索增强生成）、长上下文。 训练 除此之外，还有一个常被误用的概念“训练”，技术上最粗略的严谨分类，包含预训练和微调。最根本的特点，这些都是要改变权重参数的，也就是上面的那一堆固定的数。
ChatGPT原理小白版：RAG、长上下文与语言大模型的“训练”之路
ChatGPT原理小白版：RAG、长上下文与语言大模型的“训练”之路
ChatGPT原理小白版：RAG、长上下文与语言大模型的“训练”之路
语言大模型是基于人工神经网络的，简单的说，基础版的ChatGPT 就是拿输入（一串数）和一堆“固定”的数计算出相应的结果。 后面出现了https://www.perplexity.ai/、https://poe.com/、GPTs、Gemini 1.5、https://kimi.ai/这几个产品，还有相关的概念RAG（检索增强生成）、长上下文。 训练 除此之外，还有一个常被误用的概念“训练”，技术上最粗略的严谨分类，包含预训练和微调。最根本的特点，这些都是要改变权重参数的，也就是上面的那一堆固定的数。