对齐：模型怎么学会好好回答

所有回答都是为说明各阶段特点手写的，不调用真实模型；数据规模是数量级示意，比较投票比例和两条曲线的数值也都是示意。流程参照常见的 RLHF：预训练、用人写的示范做指令微调、收集人对回答的比较并训练奖励模型、再用强化学习让模型朝奖励模型的高分方向调整。真实训练通常要多轮迭代，还会加入专门的安全数据；有些团队用 AI 反馈代替部分人工标注（RLAIF），或用 DPO 直接从比较数据训练，不单独训练奖励模型。“奖励分一直涨、人的评价先升后降”的形状参考了奖励模型过度优化的研究（Gao 等，2022）。冗长、讨好、过度拒绝是三种常见的对齐失误，现实中成因不止一种，这里为了对照放在同一根旋钮上。

GPT-5 上线那晚，Reddit 给 4o 办了场葬礼里写的“陪伴感”，很大一部分就是偏好训练调出来的；2025 年 4 月 OpenAI 也曾因为一次更新让 4o 变得过度讨好，把它撤了回去。