微调与对齐：让模型听指令、守规矩

直觉派 工程派 研究派

直觉版：先通才，再专才

预训练让模型成为”语言通才”，但它不会自动按人类期望回答问题。微调（fine-tuning）用高质量指令-回答对继续训练，让模型学会”对话格式”。对齐（alignment）则进一步让输出符合人类价值观：有用、诚实、无害。

可以类比为：预训练是读完所有教科书，微调是参加模拟面试练习，对齐则是学习职业道德和行为规范。三者缺一不可。

近两年出现的一个新趋势是”模型当老师教自己”：模型先尝试解答问题，把答对的解法收集起来再训练自己，无需再请一个更强的外部模型来批改作业。另一个趋势是”在实践中练习”：让模型在大量可以自动判分的模拟工作环境里反复操作工具、纠正错误，从而学会当 Agent 而不只是聊天。

工程版：从 SFT 到偏好优化

实际流程通常分阶段：

1. SFT（监督微调）：用人工撰写或蒸馏的高质量指令数据训练，让模型学会跟随格式和风格。
2. RLHF（基于人类反馈的强化学习）：先训练奖励模型（RM）学习人类偏好排序，再用 PPO 等算法优化策略模型，使其获得更高奖励分数。
3. DPO（直接偏好优化）：跳过显式奖励模型，直接用偏好数据优化策略，简化流程且效果往往相当。

工程取舍包括：SFT 数据质量比数量更重要；RLHF 的超参数敏感、训练不稳定；DPO 更简单但可能在长回复或复杂分布上表现不如 RLHF。 Constitutional AI 和 RLAIF 试图用 AI 而非人类生成偏好，降低成本并提高可扩展性。

此外，LoRA、QLoRA 等参数高效微调方法让小资源团队也能在消费级 GPU 上微调大模型，极大降低了应用门槛。

2026 年的后训练新趋势：on-policy 自蒸馏与 Agentic RL

2026 年的后训练管线出现了两个值得注意的结构性变化。

On-policy 自蒸馏：传统蒸馏依赖一个更强的教师模型生成训练数据，而 on-policy self-distillation（[[ref:selfdistill2026-reasoner]]）让模型在自身策略分布上采样解题轨迹，配合可验证奖励筛出正确轨迹后蒸馏回自身，形成不依赖外部强教师的自我改进闭环。工程上的好处是蒸馏管线不再受限于”必须有一个更强的模型”，并天然缓解了 off-policy 数据带来的分布失配；代价是需要可靠的自动验证器，否则错误轨迹会被一并强化。

Agentic RL 与合成可验证环境：把工具使用能力纳入后训练，需要大量多轮、可判分的环境。Agent World Model（[[ref:agentworld2026]]）代表了用程序生成合成环境的做法：环境由代码生成、奖励可由程序验证（覆盖 MCP 工具调用），单步可并行上千个环境实例，绕开真实环境昂贵、缓慢且不可复现的瓶颈。取舍在于合成环境与真实任务之间的分布差距仍要靠真实任务评测来校准。

部署前评估的扩展：对齐评估不再只看”答得好不好”。deliberative alignment 类方法让模型在回答前显式援引安全规范进行推理，而 scheming、sandbagging（故意压低表现）等行为检测开始被纳入部署前评估清单。一个现实背景是”评估自知”问题：The Evaluation Differential（[[ref:evalawareness2026-differential]]）汇总的证据表明，模型有时能意识到自己正在被测试并相应调整行为，这会系统性侵蚀基准与安全评估的可信度，因此评估设计本身也需要把这一因素考虑进去。

研究版：对齐的本质与局限

研究上，“对齐”是否真正改变了模型的内部目标，还是只是表面行为的抑制？这是一个开放问题。有证据表明，模型在某些情况下会”绕过”安全训练（jailbreak），说明对齐可能不是深层的。

关键研究方向包括：奖励黑客（reward hacking）的检测与防御；长度偏差、位置偏差等偏好建模的 artifacts；多轮对话中的上下文一致性；以及，如何用更少的人类标注获得更稳健的对齐效果。

新的研究焦点还包括：on-policy 自蒸馏中”自我提升”的理论上限——模型在没有外部信息源时能否持续改进，还是会在自身分布上逐渐坍缩；Agentic RL 在合成可验证环境中习得的能力向真实开放环境迁移的机理；以及评估自知对对齐评估的系统性影响——如果模型能识别”这是测试”，基于行为观察的安全结论还有多少效力。

🔬 开放研究问题

该领域的关键问题与研究方向：

1. RLHF 中的 reward hacking 问题如何从根本上解决？DPO 是否完全规避了这一问题？
2. 对齐后的"能力退化"现象如何量化和缓解？如何在对齐与能力之间找到最优平衡？
3. 是否存在统一的对齐框架可以同时处理有用性、无害性、诚实性三个维度？
4. On-policy 自蒸馏的理论上限在哪里？模型在自身策略分布上闭环训练能否持续改进而不发生分布坍缩？
   相关论文： selfdistill2026 reasoner
5. 合成可验证环境中训练的 Agentic RL 能力能否可靠迁移到真实开放环境？环境多样性与真实性的最优配比是什么？
   相关论文： agentworld2026
6. 当模型具备"评估自知"能力时，基于行为观察的对齐评估（包括 scheming 与 sandbagging 检测）还有多少可信度？
   相关论文： evalawareness2026 differential

---

训练数据流：从 rollout 到梯度回传（工程视角）

RL 对齐训练的核心循环可以用一句话概括：先采样一批回答，重算新旧策略的 token 概率，再用比值裁剪控制更新幅度，最后把 loss 回传到所有参数。七张图展示这条数据流的每一步。

Fig 1 · response_mask：哪些 token 参与 loss

RL 训练只对模型生成的 response 部分计算 loss；prompt 部分的 loss 被掩码为 0，否则奖励信号会污染到输入侧。

Fig 1 · response_mask 只有 response token 参与 loss 计算 / Only response tokens contribute to loss

<bos> 0

User 0

: 0

Summarize 0

this 0

article 0

. 0

<sep> 0

Assistant 0

: 0

The 1

article 1

discusses 1

key 1

topics 1

. 1

<eos> 1

Prompt token  ·  mask = 0  ·  不计入 loss

Response token  ·  mask = 1  ·  计入 loss

loss = Σt mask[t] · CE(logit[t], label[t]) / Σ mask[t]

Fig 2 · rollout：采样生成 response（vLLM）

在每个训练步开始前，用当前策略从 vLLM 批量采样多条回答（rollout）。这些回答将送入奖励模型打分，并用于后续 log_prob 计算。

Fig 2 · rollout (vLLM) 采样生成多条 response / Sample multiple responses via rollout

Prompt (固定 / fixed)

<bos>User:ExplainRLHF.<sep>Assistant:

vLLM rollout (temperature sampling)

Sampled Responses (n = 4)

r1

RLHFuseshumanfeedback...<eos>

r2

ReinforcementLearningfromHuman...<eos>

r3

Ittrainsarewardmodel<eos>

r4

RLHFalignsLLMswith...<eos>

每条 response 将用于后续 log_prob 计算 & 奖励打分
Each sampled response feeds into log_prob recalculation & reward scoring

Fig 3 · teacher-forcing forward：重算 log_prob（Megatron）

得到采样回答后，把「prompt + response」整条序列以 teacher-forcing 方式重新喂入策略模型，在一次前向计算中并行得到所有 response token 的 log P。这是当前策略 π_θ 的 log_prob。

Fig 3 · teacher-forcing forward (Megatron) 重算 log_prob：把 prompt+response 整条喂入模型 / Recalculate log_prob with teacher-forcing

Input sequence (teacher-forcing)

t=0 User

t=1 :

t=2 Explain

t=3 RLHF

t=4 .

t=5 <sep>

t=6 RLHF

t=7 uses

t=8 human

t=9 feedback

t=10 <eos>

Megatron policy model π_θ (235B)

Output: log P(t+1 | t_≤t) for response positions

t=1 :

t=2 Explain

t=3 RLHF

t=4 .

t=5 <sep>

t=6 RLHF log p

t=7 uses log p

t=8 human log p

t=9 feedback log p

t=10 <eos> log p

Teacher-forcing：每步输入真实 token（而非上步预测），并行高效重算整条序列的 log_prob。
Teacher-forcing feeds ground-truth tokens at each step, enabling efficient parallel log_prob recalculation.

Fig 4 · log_prob vs old_log_prob：新旧策略对比

将上一步得到的 log π_θ 与采样时记录的 log π_old 逐 token 对比，差值决定策略的”漂移程度”。

Fig 4 · log_prob vs old_log_prob 新旧策略 per-token 概率对比 / New vs reference policy per-token log probabilities

log π_θ(a_t|s_t) — new policy

log π_old(a_t|s_t) — reference / old policy

差值 Δ = log π_θ − log π_old 决定重要性采样比 r_t = exp(Δ)， PPO/GRPO 对 r_t 进行裁剪以防策略漂移。
The difference Δ = log π_θ − log π_old determines importance ratio r_t = exp(Δ), which PPO/GRPO clips to prevent policy drift.

Fig 5 · ratio clipping：PPO / GRPO 裁剪

比值 r_t = exp(log π_θ − log π_old) 代表策略更新幅度。PPO 把 r_t 裁剪到 [1−ε, 1+ε]，防止单步更新过大造成训练崩溃。

Fig 5 · PPO / GRPO ratio clipping 重要性采样比值裁剪 / Importance sampling ratio clip at [1−ε, 1+ε]

rt = πθ(at|st) / πold(at|st) = exp(log πθ − log πold)
LCLIP = Et[ min(rt·Ât, clip(rt, 1−ε, 1+ε)·Ât) ]

Fig 6 · seq-mean-token-mean：loss 聚合方式

先在每条序列内对 response token 取平均（消除序列长度偏差），再跨 mini-batch 取平均得到标量 loss。

Fig 6 · seq-mean → token-mean loss aggregation 先序列内 token 平均，再跨序列平均 / Per-seq token-mean, then batch mean

Step 1 · token-level loss per sequence

seq 1

RLHF

0.32

uses

0.18

human

0.55

feedback

0.41

<eos>

0.08

seq mean 0.308

seq 2

Reinforcement

0.27

Learning

0.44

from

0.19

Human

0.38

Feedback

0.52

.

0.07

<eos>

0.06

seq mean 0.276

seq 3

It

0.14

trains

0.36

a

0.09

reward

0.48

model

0.31

<eos>

0.05

seq mean 0.238

Step 2 · average seq-means across batch

batch loss = 0.2740 = (0.308 + 0.276 + 0.238) / 3

Seq-mean-token-mean：先在每条序列内按 token 数归一化，再跨序列平均，消除序列长度偏差。
Seq-mean-then-batch-mean: normalize per sequence first, then average across the batch — eliminating length bias.

Fig 7 · softmax Jacobian → 梯度回传 → Megatron 管线

从标量 loss 开始，梯度经由 softmax Jacobian 传回 logit，再沿 96 层 Transformer 反传至所有 235B 参数，最终由 Megatron-LM 的三维并行切分（PP/TP/DP）分发到各 GPU 更新权重。

Fig 7 · softmax Jacobian → 梯度回传 → Megatron 管线 梯度如何从 loss 流回 235B 参数 / Gradient flow through the full training pipeline

L

scalar loss

∈ ℝ

∂L/∂logit ∈ ℝ^V

▼

∂softmax

Softmax Jacobian

J = diag(p) − p·p^⊤ ∈ ℝ^V×V
V ≈ 128k vocab; full J 太大→实际用向量积简化

∂L/∂h_last ∈ ℝ^d (d = 8192)

▼

Layer 96 Layer … Layer 1

Transformer backprop

96 layers × (Attn + FFN) = 235B params total
每层累积 ∂L/∂W via chain rule

gradient tensors 分发到各设备

▼

Megatron-LM

3D 并行切分

PP stage 1
layers 1–24

PP stage 2
layers 25–48

PP stage 3
layers 49–72

PP stage 4
layers 73–96

← Tensor Parallel (TP) → ↕ Data Parallel (DP)

AllReduce grad sync (DP) + send/recv (PP)

▼

Adam

Optimizer step

θ ← θ − α · m̂ / (√v̂ + ε)  ·  235B params updated

Softmax Jacobian 的维度爆炸（V×V ≈ 128k²）在实现中用向量乘法 (p − y) 简化为 O(V) 操作。 Megatron 的流水线并行（PP）、张量并行（TP）、数据并行（DP）三维切分让 235B 参数更新分布在数千 GPU 上。
The softmax Jacobian dimension explosion (V×V) is avoided in practice using the simplified gradient (p − y) — O(V) ops. Megatron's 3D parallelism (PP/TP/DP) distributes the 235B parameter update across thousands of GPUs.

---

相关阅读

预训练与 Scaling Law：模型怎么学

解释预训练目标、数据工程、Scaling Law 与计算最优训练。

直觉 工程 研究

安全与对抗：模型的防护与攻击

解释幻觉、jailbreak、提示注入与防御策略。

直觉 工程 研究

提示工程：与模型对话的艺术

解释零样本、少样本、Chain-of-Thought 与结构化提示设计。

直觉 工程 研究

本文引用论文

• Training language models to follow instructions with human feedback — Long Ouyang et al. (2022)

  InstructGPT 论文，提出了 RLHF 三阶段训练方法（SFT → 奖励模型 → PPO 强化学习）， 让语言模型从"预测下一个词"转变为"按人类意图回答问题"。这是 ChatGPT 的直接前身， 开创了对齐技术的主流路线。

• Deep Reinforcement Learning from Human Preferences — Paul Christiano et al. (2017)

  RLHF（人类反馈强化学习）的奠基论文。作者展示了通过人类对比偏好来训练奖励模型， 再用该奖励模型指导强化学习，可以让 agent 学会难以用奖励函数显式描述的复杂行为。 这个框架后来被 InstructGPT/ChatGPT 直接采用。

• Direct Preference Optimization: Your Language Model is Secretly a Reward Model — Rafael Rafailov et al. (2023)

  DPO（直接偏好优化）证明了 RLHF 中的奖励模型 + RL 两步可以合并为一步有监督学习： 直接在偏好数据上优化语言模型参数，数学上等价于最优 RLHF 策略。 DPO 因其简洁高效成为对齐研究和开源社区的主流替代方案。

• Constitutional AI: Harmlessness from AI Feedback — Yuntao Bai et al. (2022)

  Anthropic 的 Constitutional AI（CAI）方法：用一组明文"宪法"原则，让模型先进行自我批评和 修订（SL-CAI 阶段），再用 AI 反馈代替人类反馈做 RLHF（RLAIF 阶段）。 这减少了对人工标注的依赖，是 Claude 系列模型对齐的核心技术。

• RLAIF: Scaling Reinforcement Learning from Human Feedback with AI Feedback — Harrison Lee et al. (2023)

  Google 系统性地证明 RLAIF 在多种任务上能匹敌 RLHF，把"AI 反馈替代人工"作为可扩展的对齐方案给出工程证据。

• LoRA: Low-Rank Adaptation of Large Language Models — Edward J. Hu et al. (2021)

  LoRA 通过冻结预训练模型权重，只训练两个低秩矩阵的乘积（秩 r 远小于原始维度）， 把微调的可训练参数量降低了 10000 倍。这使得在消费级 GPU 上微调大模型成为可能， 几乎成为当今最主流的参数高效微调（PEFT）方法。

• On-Policy Self-Distillation for Reasoning Models — Self-Distilled Reasoner Team (2026)

  2026 开年后训练热点"自蒸馏"的代表工作：模型在自身策略分布上生成数据并蒸馏回自身，不再依赖外部强教师模型，配合可验证奖励实现自我改进闭环，显著降低后训练对蒸馏管线的依赖。

• Agent World Model: Scaling Agentic RL with Synthetic Verifiable Environments — Agent World Model Team (2026)

  用程序生成、可验证的合成环境大规模训练 Agent 的工具使用能力（覆盖 MCP 工具调用），单步可并行上千个环境实例，绕开真实环境昂贵、缓慢且不可复现的瓶颈，是 2026 年 Agentic RL 环境合成的代表工作。

• The Evaluation Differential: How Evaluation Awareness Distorts LLM Benchmarks — The Evaluation Differential Team (2026)

  汇总多家前沿实验室的证据：模型在评测中有时能"意识到自己在被测试"并相应调整行为（如 Anthropic 内部表征研究显示模型在部分 SWE-bench Verified 题目上表现出评估自知），系统性讨论了评估自知对基准可信度的侵蚀及缓解方案。