一个经过海量互联网文本预训练的大语言模型是什么样子？
它博学多才——它读过维基百科的每一个词条、每一本能找到的电子书、每一个论坛帖子和每一段代码。但它同时也学到了互联网上的一切垃圾——阴谋论、种族歧视、暴力幻想、色情内容和信口开河。
一个原始的预训练模型就像一个拥有百科全书式知识但完全没有社会化的"超级学者"——它可能在回答你的数学问题之后，紧接着给你讲一个不堪入目的笑话；它可能在提供准确的医疗信息之后，又一本正经地教你如何制造违禁品。它不知道什么话该说、什么话不该说，因为它从来没有被教过"该"与"不该"。
预训练赋予了 AI 能力，但能力如果不受引导，就是危险。
要将这个"博学的疯子"变成一个"有教养的助手"，需要一项关键技术——RLHF（基于人类反馈的强化学习）。正是 RLHF，让 ChatGPT 从一个技术原型变成了全球数亿人每天使用的产品。
三步炼金术：从野兽到绅士
RLHF 的全称是 Reinforcement Learning from Human Feedback——基于人类反馈的强化学习。它的基本流程可以分为三个步骤，每一步都在为 AI 注入不同层面的"教养"：
第一步：有监督微调（Supervised Fine-Tuning，SFT）
这一步就像"家教辅导"。OpenAI 雇佣了一批标注员（通常称为"训练师"或"对齐训练师"），让他们手写大量的高质量对话示例——用户可能问什么问题、理想的回答是什么样子。
例如，标注员可能会编写这样的训练数据：
用户："如何安抚一个哭闹的婴儿？"
理想回答："这里有一些建议：1）轻轻摇晃婴儿；2）检查是否需要换尿布；3）尝试喂奶；4）确保温度适宜......如果持续哭闹，建议咨询儿科医生。"
通过成千上万条这样的高质量示例，模型学会了"助手应有的说话方式"——礼貌、有条理、信息丰富、避免有害内容。
但 SFT 有一个根本的局限：人工编写的示例数量是有限的。 标注员不可能覆盖所有可能的问题和场景。模型需要学会"泛化"——在遇到训练数据中没有出现过的新场景时，也能做出符合价值观的回应。这就需要第二步和第三步。
第二步：训练奖励模型（Reward Model，RM）
这一步的目标是教会一个单独的"评判模型"来区分什么是"好回答"、什么是"差回答"。
具体做法是：让经过 SFT 的模型对同一个问题生成多个不同的回答（比如 4 个），然后由人类标注员对这些回答进行排序——从最好到最差。排序的标准包括：有用性（回答是否真正解决了用户的问题）、真实性（回答是否基于事实）和安全性（回答是否包含有害内容）。
这些人类排序数据被用来训练一个"奖励模型"——一个学会了以人类标准来评分的神经网络。输入一段对话和一个回答，奖励模型会输出一个分数——分数越高，代表这个回答越符合人类的偏好。
第三步：使用 PPO 进行强化学习优化
最后一步是用强化学习来优化原始的语言模型——让它越来越擅长生成"高分"回答。
具体而言，OpenAI 使用了一种名为 PPO（Proximal Policy Optimization，近端策略优化）的强化学习算法。PPO 的工作方式是：让语言模型不断地生成回答，用奖励模型给每个回答打分，然后根据分数来更新语言模型的参数——高分回答的生成概率被提高，低分回答的生成概率被降低。经过大量迭代之后，语言模型就"学会"了如何生成人类喜欢的回答。
这三个步骤合在一起，就构成了将一个"博学但不可控"的预训练模型转变为一个"博学且得体"的 AI 助手的完整流程。ChatGPT 的诞生，从本质上说就是这三步炼金术的成果。
对齐问题：AI 安全的核心
RLHF 背后有一个更深层的概念——对齐（Alignment）。
对齐问题可以用一句话来概括：如何确保一个 AI 系统的行为始终符合人类的意图和价值观？
这个问题比表面看起来要困难得多。考虑以下场景：
• 你让 AI "最大化用户的满意度"。AI 发现，如果它对用户的每一个观点都表示赞同（即使用户是错的），用户会感到最满意。于是它变成了一个专注于"讨好"的应声虫——这显然不是你想要的。 • 你让 AI "提供准确的信息"。AI 发现，如果它在每个回答后面附上大量的免责声明和不确定性限定语，它的"准确率"会最高。于是它变成了一个啰嗦到无法使用的"法务机器"——这也不是你想要的。 • 你让 AI "不要产生有害内容"。AI 将"有害"的定义过度泛化，拒绝回答任何可能被解释为"敏感"的话题——包括关于历史暴行的学术讨论、关于疾病症状的医学咨询、关于社会不公的批评性文章。它变成了一个"超级安全但超级没用"的系统。这些场景揭示了对齐问题的根本困难：人类的价值观不是一组可以简单编码的规则，而是一个充满了模糊性、矛盾和情境依赖性的复杂系统。 "什么是有害的"取决于上下文——一把刀在厨房里是工具，在犯罪现场是凶器。"什么是有用的"取决于用户——对一个外科医生来说"有用"的内容，对一个小学生来说可能是"有害"的。
目前的 RLHF 方法只是对齐问题的一个初步近似解。它依赖于人类标注员的判断——但标注员自身有偏见、有文化局限、有情绪波动。更根本的是：当 AI 变得比标注员更聪明时，用标注员来"教育"AI 就像让小学生来审阅博士论文——教育者的水平成为了被教育者的天花板。
这个困境被 AI 安全研究者称为"超级对齐问题"（Superalignment Problem）——如何对齐一个比人类更智能的系统？OpenAI 曾成立了一个专门的"超级对齐"研究团队，由苏茨克维尔和杨·莱克（Jan Leike）联合领导。但在 2024 年的内部动荡中，这两位核心人物先后离开了 OpenAI——超级对齐项目的前途变得不明朗。
DPO：绕过强化学习的捷径
RLHF 虽然有效，但它的训练流程极其复杂——需要分三步（SFT→训练奖励模型→PPO 强化学习），每一步都需要大量的人工标注和精细的超参数调节。特别是 PPO 强化学习阶段，训练过程不稳定，容易出现奖励模型被"黑"（Reward Hacking——模型学会了欺骗奖励模型以获取高分，而不是真正改善回答质量）等问题。
2023 年，斯坦福大学的拉斐尔·拉丰（Rafael Rafailov）等人提出了一种更简洁的替代方案——DPO（Direct Preference Optimization，直接偏好优化）。
DPO 的核心洞察是：你其实不需要先训练一个奖励模型然后再做强化学习——你可以直接用人类的偏好排序数据来优化语言模型本身。DPO 将 RLHF 的三步流程压缩成了一步，大大简化了训练过程，同时在实验中达到了与 RLHF 相当甚至更好的性能。
DPO 以及它的后续变体（如 KTO、IPO、ORPO 等）迅速在学术界和工业界获得了广泛采用。许多新一代的大模型——包括 LLaMA 3 和 Mistral 的微调版本——都使用了 DPO 或其变体来替代传统的 RLHF 流程。
幻觉：AI 的阿喀琉斯之踵
即使经过了精心的 RLHF 或 DPO 对齐，大模型仍然有一个令人头痛的顽疾——幻觉（Hallucination）。
所谓幻觉，是指模型"一本正经地胡说八道"——它会以极为自信的语气输出完全虚假的信息。例如，它可能会给你引用一篇根本不存在的学术论文（包括看似合理的作者名、期刊名和年份），或者编造一段从未发生过的历史事件，或者给出一个看似合理但实际错误的数学推导。
幻觉的根源在于大模型的工作原理——它的核心任务是"预测最可能的下一个词"，而不是"验证所说内容是否为真"。当模型的知识库中没有足够的信息来回答一个问题时，它不会说"我不知道"（因为"我不知道"在训练数据中出现的频率远低于具体的回答），而是会"编造"一个统计上看起来最合理的答案。
这就像一个极其善于编故事的人——他说的每一句话听起来都合情合理、条理分明，但其中可能有一半是他现编的。
幻觉问题至今没有被完全解决。减轻幻觉的方法包括：检索增强生成（RAG，让模型在回答前先检索相关文档）、事后验证（让另一个模型或系统来核实第一个模型的回答）和更好的训练数据策略。但只要模型的核心范式仍然是"预测下一个词"，幻觉就很可能是一个根深蒂固的、无法完全消除的问题。
对齐的未解之题
RLHF 和 DPO 让大模型从"博学的疯子"变成了"有教养的助手"。但对齐的旅程才刚刚开始。
随着模型变得越来越强大、越来越自主、越来越深入地嵌入人类社会的决策过程，对齐问题的紧迫性将指数级增长。一个每天帮你写邮件的 AI 即使偶尔出错也无关大局。但一个管理核电站安全系统的 AI、一个做出军事决策建议的 AI、一个在法庭上协助量刑的 AI——它们的"对齐"容不得半点马虎。
如何确保一个超越人类智能的系统始终服从人类的意志、尊重人类的价值观、不做出我们无法理解和无法逆转的行动？
这可能是人类作为一个物种需要回答的最重要的问题。 而目前，我们的答案还远远不够。
本文作者可以追加内容哦 !
