【英文长推】有关下一代 LLM 的想法：哪些因素会对模型训练产生影响

Chainfeeds 导读：

很多观点认为，当前 LLM 模型正在碰壁，并没有像人们预期的那样取得巨大进步。在 NEAR Protocol 联合创始人 Illia 看来，期望单纯将大量随机文本扔给不断增大的模型就能实现巨大进步的想法很奇怪。事实上，特定规模的模型质量一直在稳步提高。本文分享了会对下一代模型训练产生影响的假设。

文章来源：

https://x.com/ilblackdragon/status/1868059039059308832

文章作者：

Illia (root.near)

观点：

Illia (root.near)：1. 不同的训练程序：目前，SGD 是一种迟钝的工具。它需要较低的学习率，以避免对新示例的过度拟合。反过来，每个信息单元需要在的上下文中展示 1000 次才能学会。 不同的训练程序可以专门更新少数示例的表征。将训练数据从简单的文章排序到更复杂的文章，以便在模型有更好的学习表征时增加对高密度信息的使用。o1 引入了花更多时间进行推理的想法，让模型有时间思考更难的问题。将其转化为更多的训练程序，模型会学习何时需要花更多时间思考，然后再根据自己对问题难度的理解来预测下一个标记。已经有一些这方面的工作，特别是 Quiet-STaR，但据我所知，没有人扩大规模。想法：学习优化器、规模化 Quiet-STaR 方法、课程学习、合成数据管道。 2. 检索，而不是死记硬背：当前的模型需要记住所有信息，才能有效预测随机文章中的下一个标记。取而代之的是预训练过程，即在上下文中提供事实信息，并利用这些上下文生成文章进行训练。想法：预处理步骤，使用现有模型为每篇文章生成事实表。 3. 主动学习：目前，模型只训练一次，永远不会更新，只能被从头开始训练的新模型取代。相反，模型可以随着时间的推移而主动更新 —— 例如持续的 RLHF。这就要求系统平衡人们输入的信息的正确性。有趣的是，最直接的应用是交易。想法：一个特定的应用程序，模型持续从用户反馈中学习。 4. 神经符号方法：当前的模型本质上是语义模型，在执行许多计算机已经非常擅长的事情时会遇到困难，比如做数学运算或执行一系列操作。使用符号协处理器（工具）允许模型进行数学运算、推理、规划和神经符号知识图谱。 在某种程度上，代理框架提供了这一功能的早期版本，但并没有进行太多的调整 / 微调，也没有与模型运行的符号进行更紧密的整合。想法：形式验证证明器、有趣的数学搜索、微调端到端代理行为。【原文为英文】