SFT + LoRA + GRPO:Agent 算法岗模拟面试(20 题整合修订版)

适用方向:AI Agent / 大模型算法岗、ReAct 文档解析 Agent 项目面试
使用方式:先遮住答案自己口述,再核对「面试推荐回答」,最后复习「结合项目」和「易错点」。
结构:先看实现状态口径 → 第一部分 SFT + LoRA(10 题)→ 第二部分 GRPO(10 题)→ 速记表和口误纠正。

先看:实现状态口径(面试前必须记住)

部分 SFT GRPO 怎么说
Agent 1 文档解析(ReAct,17 个工具) 做了:两轮,最终 222 条轨迹 没做,只是方案设计 「Agent 1 只做了 SFT」
Agent 2 修复与切分 做了 做了 10 轮 可以讲真实设置和结果
Agent 3 问答抽取与知识树 做了:抽取、关系判断各一个 LoRA 做了 3 轮 可以讲真实设置和结果

口径:Agent 1 上的 GRPO 是方案设计;这套 GRPO 训练流程我在 Agent 2 和 Agent 3 上实际跑过。

真实的 SFT 设置(train/sft_agent1.py,Agent 1、2 共用;Agent 3 用同一套代码改参数):

项目 设置
基座 Gemma 3 27B(最终);4B 做消融
训练方式 27B 用 QLoRA:基座 4-bit NF4 加载(双重量化,bf16 计算),只训练 LoRA,单卡 48GB,Agent 1 约 50 分钟
LoRA r = 16,alpha = 32(缩放 2),dropout 0.05
加在哪里 只加在语言模型每层的 7 个线性层:q / k / v / o、gate / up / down;视觉编码器、词嵌入、输出层不加
可训练参数 27B 上约 1.1 亿,占 0.4%,适配器 454 MB
优化 AdamW,学习率 1e-4,权重衰减 0;前 10% 线性预热,之后线性衰减到 0;梯度累积 8;梯度裁剪 1.0
轮数和长度 Agent 1:3 个 epoch,最长 12288 token(超长样本丢弃);Agent 3 抽取 LoRA 1 个 epoch、关系 LoRA 2 个 epoch
Loss 只在 assistant 回合(含结束符)上算;loss 归一化可选「按样本」或「按 token」(Agent 3 抽取用按 token)
验证集 随机切 10% 的样本,每个 epoch 结束打印验证 loss;没有做 early stopping,用最后一个 epoch 的权重
部署 适配器单独保存;4-bit 训练的适配器在 CPU 上用 bf16 基座合并(避免把量化误差合进权重),vLLM 加载评测

真实的 GRPO 设置(train/grpo_agent2.py、scripts/grpo_rollout_agent2.py):

项目 设置
组大小 8
采样温度 1.0
优势 (r − 组均值) / (组内总体标准差 + 1e-4);全组同分时设为 0
Clip 0.2,实测被裁剪的 token 比例 2%~8%
KL β = 0.04,k3 估计,参考模型 = SFT 的 LoRA;实测 KL 在 0.01~0.11,偶尔冲到约 0.4
训练什么 只训练策略 LoRA,学习率 5e-6,关掉 dropout
流程 单卡 48GB,vLLM 采样和训练交替进行
奖励门控 输出无效直接 −1,有效才算其他奖励的加权平均

真实结果(照实说):

结果
Agent 1 SFT(27B) F1 0.873 → 0.888,选对 65 → 70 / 79;教师 Gemini 0.884,oracle 0.895
Agent 1 SFT(4B 消融) 未训练 0.833(62/79)→ 第 1 轮 0.854(60/79)→ 第 2 轮 0.893(73/79)
Agent 2 GRPO 提升小:碎块 2 → 0,利用率 0.77 → 0.80,块数 3.82 → 3.81
Agent 3 GRPO 测试集上和 SFT 持平(差距 ±0.012 以内);主要收获是训练中无效输出 21% → 2%

目录

第一部分:SFT + LoRA

  1. SFT 是什么?和预训练有什么区别?
  2. SFT 损失函数及 Loss Mask
  3. LoRA 的原理
  4. LoRA 与全参数微调
  5. LoRA 的 Rank、Alpha、Dropout
  6. 如何构建 SFT 训练数据?
  7. Loss Mask 的工程实现与风险
  8. 过拟合与灾难性遗忘
  9. SFT + LoRA 完整训练流程
  10. 如何证明微调真正有效?

第二部分:GRPO

  1. GRPO 与 PPO 有何区别?
  2. GRPO 的组内优势函数如何计算?
  3. 为什么需要 Clip?
  4. 如何设计 Agent 的奖励函数?
  5. 组内奖励全部相同怎么办?
  6. SFT 与 GRPO 有何区别?
  7. 什么是 Reward Hacking?
  8. KL 散度与 Clip 的关系是什么?
  9. 一次 GRPO 训练迭代如何进行?
  10. 如何将 GRPO 应用到文档解析 Agent?

考前速记表 | 常见口误纠正


第一部分:SFT + LoRA

第 1 题:SFT 是什么?和预训练有什么区别?

面试题

  1. 什么是 SFT?它和大模型预训练有什么区别?
  2. SFT 数据通常是什么形式?
  3. 为什么文档解析 Agent 要使用 SFT,而不是完全依赖 Prompt Engineering?

面试推荐回答

SFT(Supervised Fine-Tuning,监督微调)是用高质量示范数据,在预训练模型上继续训练,让模型学会特定任务的行为。预训练从大规模通用数据中学语言规律和通用能力;SFT 学任务相关的输入输出形式、指令遵循和决策方式。两者通常都用下一个 token 预测的交叉熵,区别在数据和目标,不在损失函数。

SFT 数据通常是多轮对话格式(system / user / assistant)。我的文档解析 Agent 是 ReAct:每一步 assistant 输出一个 JSON,包含 thought 和动作(调用某个工具,或 finish 并给出选择),工具返回的结果作为下一轮 user 消息里的 observation。

至于为什么不只靠 Prompt:Prompt 可以写规则,但「看了工具结果之后该不该换工具」这种判断,靠 Prompt 学不稳。

结合项目(有对照实验,直接说数字)

同一套 ReAct 提示词和工具,未训练的 Gemma 3 27B F1 0.873、选对 65/79,和规则基线一样,平均只调 1.1 次工具,基本不会换工具;SFT 后 F1 0.888、选对 70/79,超过了教师 Gemini 的 0.884。所以 Prompt 只能把模型带到「会用工具」,SFT 让它学会「什么时候该换」。

易错点

  • ❌ SFT 只是训练输出格式。✅ 还学工具选择、继续或停止等决策。
  • ❌ 预训练与 SFT 必须用不同损失。✅ 通常都是 token 级交叉熵。
  • ❌ SFT 一定优于 Prompt。✅ 要用对照实验证明;我的项目里有这个对照(0.873 → 0.888)。

第 2 题:SFT 损失函数及 Loss Mask

面试题

  1. SFT 的损失函数通常是什么?
  2. 如何让模型提高正确输出的概率?
  3. User → Thought → Action → Observation → Thought → Action 是否全部计算 Loss?

面试推荐回答

SFT 用交叉熵损失,让模型在给定上下文时提高目标 token 的概率:

$$ \mathcal L_{\mathrm{SFT}}=-\frac{1}{|M|}\sum_{t\in M}\log P_\theta(y_t\mid x,y_{<t}), $$

其中 $M$ 是参与训练的目标 token 位置。

不是全部都算。只对模型自己生成的 assistant 回合(thought、action 和结束符)算 loss;system 提示、用户输入、工具描述、observation 都保留在输入里当上下文,但 label 设成 -100,不参与交叉熵。训练重点是模型自己的决策,而不是复述输入或模拟工具输出。

结合项目

我的实现里还有两个细节:

  1. 只在需要算 loss 的位置算 logits,并分块计算。Gemma 3 词表约 26 万,一条 8k token 的样本全量算 fp32 logits 就要约 8GB,会直接爆显存。
  2. loss 怎么平均很重要。默认每个样本先在自己的 token 上平均,每个样本权重相同。但 Agent 3 的抽取任务里有「空块」样本,目标只有约 20 个 token(输出空列表)。按样本平均时,「输出空列表还是写内容」这个关键 token 的权重是正常样本的上百倍,模型学成了一律输出空。改成按整个累积批次的 token 数平均后解决。

易错点

  • -100 是 PyTorch CrossEntropyLoss 默认的 ignore_index,不是 -1。
  • Mask 掉 loss 不等于删掉上下文。 Observation 仍在 input_ids 里,后面的决策要读它。
  • 结束符要参与 loss,否则模型学不会停。

第 3 题:LoRA 的原理

面试题

  1. LoRA 核心原理是什么?
  2. 为什么可以只训练少量参数?
  3. 原始权重矩阵 $W$ 的计算如何变化?

面试推荐回答

LoRA(Low-Rank Adaptation,低秩适配)冻结原权重 $W$,额外加两个可训练的低秩矩阵,在原来的线性变换上叠加一个低秩更新:

$$ h=Wx+\frac{\alpha}{r}BAx,\qquad A\in\mathbb{R}^{r\times k},\quad B\in\mathbb{R}^{d\times r},\quad W\in\mathbb{R}^{d\times k}. $$

$r$ 是 rank(秩),$\alpha$ 是缩放超参数。原矩阵有 $dk$ 个参数,LoRA 只训练 $r(d+k)$ 个,$r\ll\min(d,k)$,所以参数量大幅下降。初始化时 $B=0$,训练开始时模型和原模型完全一样。

例:$4096\times4096$ 的矩阵有 16,777,216 个参数;$r=8$ 时 LoRA 只有 $8\times4096+4096\times8=65{,}536$ 个,约为原矩阵的 0.39%。这只是这个矩阵的可训练参数对比,不代表显存减少 99.61%。

能这么做的前提是:微调时需要的权重变化本身是低秩的,少数几个方向就够了。

结合项目

我用 r = 16、alpha = 32,加在 Gemma 3 27B 语言模型每层的 7 个线性层上,可训练参数约 1.1 亿,占 27B 的 0.4%,适配器 454 MB。

易错点

  • ❌ LoRA 用两个小矩阵替换掉 W。✅ W 仍然加载,只是冻结。
  • ❌ 参数少了多少,显存就少多少。✅ 激活值和基座权重仍占显存。
  • 标准 LoRA 的缩放是 $\alpha/r$;rsLoRA 等变体用 $\alpha/\sqrt r$。

第 4 题:LoRA 与全参数微调

面试题

  1. LoRA 主要节省哪部分显存?
  2. LoRA 效果一定比全参数微调差吗?
  3. 什么情况下考虑不使用 LoRA?

面试推荐回答

LoRA 主要省的是梯度和优化器状态(Adam 的一阶、二阶动量):全参数微调时,这两部分加起来是模型权重的好几倍。基座权重仍然在显存里,前向和反向也要经过基座,所以普通 LoRA 不缩小基座权重。

如果还要省基座权重,就用 QLoRA:基座用 4-bit 加载,LoRA 仍用 bf16 训练。

LoRA 效果不一定比全参数差。工具选择、结构化输出这类范围明确的任务,LoRA 常能接近全参数效果;但如果任务需要大幅改变模型内部表示,而且数据和算力都充足,全参数可能更好。我会先调 rank 和目标层,看验证集结果再决定。

项目 LoRA 全参数微调
原模型权重 加载但冻结 加载并更新
梯度、优化器状态 只针对低秩参数 针对全部参数
训练显存 通常更低 通常更高
表达自由度 受低秩约束 较高
最终质量 看任务、配置和数据 看任务、配置和数据

结合项目

我选 LoRA 的原因按重要性排:

  1. 部署:四个 Agent 共用一个 Gemma 27B 基座,每个 Agent 一个几百 MB 的适配器;全参数要部署 4 个 27B。
  2. 显存:单卡 48GB,全参数训练 27B 不可能;用 QLoRA 才训得动。
  3. 数据少:Agent 1 只有 222 条,全参数调 27B 参数很容易背下训练集。
  4. 迭代快:第 1 轮到第 2 轮只换数据重训适配器,不好就换回旧的。

一个工程细节:4-bit 基座上训出来的适配器,我不直接在 4-bit 基座上合并,而是在 CPU 上加载 bf16 基座再合并,避免把量化误差合进权重。

易错点

  • ❌ LoRA 主要省基座权重的显存。✅ 主要省梯度和优化器状态;省基座权重的是 QLoRA 的量化。
  • ❌ LoRA 一定不如全参数,或一定不差于全参数。✅ 两种绝对说法都不对。

第 5 题:LoRA 的 Rank、Alpha、Dropout

面试题

  1. Rank 从 8 增加到 64 会发生什么?
  2. Alpha 做什么,为什么有 $\alpha/r$?
  3. Dropout 做什么,小数据集怎么调?

面试推荐回答

  • Rank($r$):决定低秩更新的容量。越大参数越多、开销越大,表达能力越强,但验证集不一定更好,数据少时还可能更容易过拟合。
  • Alpha($\alpha$):调 LoRA 分支相对原输出的缩放强度。用 $\alpha/r$ 缩放,是为了改 rank 时更新幅度不要跟着大变,少重新调学习率。Alpha 不是学习率,但两者效果上会相互影响。
  • Dropout:对 LoRA 路径做正则化。数据少时可以在验证集上试 0.05、0.1,不是越大越好。

对 $4096\times4096$ 单个矩阵:

Rank LoRA 可训练参数
8 65,536
16 131,072
32 262,144
64 524,288

记忆:Rank 管容量,Alpha 管缩放,Dropout 管正则化。

结合项目(照实说)

我用 r = 16、alpha = 2r = 32、dropout 0.05,这组超参数没有做过对比实验,是按常用设置定的。加到全部 7 个线性层,是参考 QLoRA 论文的结论:只加 q、v 效果不如加到所有线性层。

另外,GRPO 阶段我会关掉 dropout:GRPO 要比较新旧策略的概率,dropout 带来的随机性会让这个比值失真。


第 6 题:如何构建 SFT 训练数据?

面试题

  1. ReAct 训练轨迹从何而来?
  2. 单条轨迹包含什么?
  3. 如何进行拒绝采样?
  4. 如何处理教师模型也解决不了的困难文档?

面试推荐回答

我用的是教师蒸馏 + 真实工具执行 + 拒绝采样 + 难样本补救。

1. 轨迹来源。 166 个训练文件(论文和维基词条,和测试集不重叠),让教师 Gemini 跑完整的 ReAct 流程。工具是真实执行的,observation 是真实的质量指标和文本预览。教师每一步只能看到当时已有的 observation,看不到标准答案。

2. 单条轨迹的格式。

1
2
3
4
5
6
7
{"messages": [
{"role": "system", "content": "你是一个文档解析 agent……"},
{"role": "user", "content": "请解析这个文件:{文件信息 + 工具清单}"},
{"role": "assistant", "content": "{\"thought\": \"...\", \"action\": \"call_tool\", \"tool\": \"pandoc\"}"},
{"role": "user", "content": "observation:\n{质量指标 + 预览}"},
{"role": "assistant", "content": "{\"thought\": \"...\", \"action\": \"finish\", \"choice\": \"pandoc\"}"}
]}

3. 拒绝采样。 训练文件都有标准答案(LaTeX 源码、维基正文),可以算出每个工具的 F1 和这个文件的最优解(oracle)。只保留三个条件都满足的轨迹:

  • 最终选择的 F1 ≥ oracle − 0.01
  • 没有回退到规则基线
  • 没有无效动作

4. 困难样本。 只做拒绝采样会把难题删光。我做了三项补救:

方法 做法 数字
难样本重采样 教师做错的文件,用温度 0.8 再采 4 次,留下做对的 184 次里做对 74 次
事后纠正 仍然做不对的文件,由程序按标准答案构造正确的工具路径,再让教师只根据真实 observation 补写理由 17 个文件
重新配比 原来 84% 的轨迹只调一次工具,上采样多步轨迹 最终 222 条

结合项目:为什么这三项补救是必要的

第 1 轮只做拒绝采样(99 条),4B 学生 F1 从 0.833 只升到 0.854,选对数反而从 62 降到 60;第 2 轮加上三项补救(222 条),F1 0.893、选对 73/79。

Agent 3 的数据也有类似处理:抽取数据先用 LLM 裁判过滤错误问答,错误超过 30% 的块整块丢掉,空块最多保留 35 条;关系判断数据保持自然比例,因为早期把 none 压到正例的 4 倍,模型预测的边是教师的 2 倍,一半被拒。

易错点

  • ❌ 教师模型编造工具结果。✅ Observation 来自真实执行。
  • ❌ 拒绝采样只留简单成功样本就行。✅ 要补难样本,否则有难度偏差;我的第 1 轮就是反例。
  • ❌ 用未来信息生成之前的 thought。✅ 事后纠正只用标准答案决定工具路径,thought 只能引用 observation 里看得到的证据。
  • ❌「最多 4 次工具调用、质量达标就停、触发条件后 OCR 兜底」。✅ 项目里是最多 6 次调用,重复调用会被拒绝,无效动作超过 2 次回退到规则基线;什么时候停是模型学出来的;OCR 是工具池里的一个工具,不是兜底。「全部工具跑一遍再打分」是规则基线,不是 Agent 的兜底。

第 7 题:Loss Mask 的工程实现与风险

面试题

  1. Observation 不参与 Loss,还有什么用?
  2. 如果让 Observation 参与 Loss,会发生什么?是不是数据泄漏?
  3. 代码中怎么设置 labels=-100?

面试推荐回答

Observation 是下一步决策的依据。比如工具返回「有效词数 2000、干净度 0.99」,模型据此决定结束还是换工具。它不是监督目标,但完整保留在输入里,attention 可以读到。

如果把 observation 也算进 loss,模型会被训练去预测工具的返回文本;observation 往往很长,还会主导 loss,让训练偏离真正的决策。这会增加编造工具结果的风险,但不等于数据泄漏。真正的数据泄漏是生成某一步 thought 时提前看到了未来的 observation 或测试集信息。

示意:

1
2
3
4
5
input_ids = [101, 102, 103, 104, 105, 106]
labels = [-100] * len(input_ids)
for pos in [1, 2, 4, 5]: # 模型应生成的 thought / action / 结束符
labels[pos] = input_ids[pos]
# [-100, 102, 103, -100, 105, 106]

结合项目:我的实际实现

我不是手动找位置,而是按 assistant 回合逐段渲染聊天模板:

  1. 对第 i 个 assistant 回合,先渲染它之前的全部消息(加上生成提示)作为上下文,再渲染包含这个回合的完整对话;
  2. 两者相减就是这个回合的文本(包括结束符),这部分的 label 保留,上下文部分全设为 -100;
  3. 用断言检查聊天模板的「前缀性质」:前面渲染出的文本必须是后面的前缀,不满足就报错,防止边界错位。

Observation 放在 user 消息里,所以自动被 mask 掉。计算时 label 向后错一位,和 logits 对齐。

一句话记忆

Mask 不删除输入,只决定哪些 token 是学习目标。


第 8 题:过拟合与灾难性遗忘

面试题

  1. 训练 Loss 一直下降、验证 Loss 先降后升,是何现象?
  2. 从数据、LoRA 超参数、训练策略如何解决?
  3. 过拟合与灾难性遗忘有什么区别?

面试推荐回答

这是过拟合:训练集越拟合越好,没见过的样本反而变差。原因可能是数据少或分布单一、训练太久、可训练容量太大。

  • 数据:补充多样的高质量轨迹并去重
  • LoRA 超参数:降低 rank、适当提高 dropout
  • 训练策略:early stopping、降低学习率、减少 epoch,按验证集选检查点

除了 loss,还要看任务指标:解析 F1、选对率、调用次数。

灾难性遗忘是另一回事:学会新任务后,原有的通用能力或旧任务能力下降。比如文档解析变好了,普通对话变差了。它不是「上下文窗口太小忘了前面的对话」。缓解方法:混入通用指令数据、经验回放、约束更新幅度,并用独立的旧能力测试集监控。

对比 过拟合 灾难性遗忘
现象 训练集好,没见过的样本差 新任务好,旧能力下降
办法 数据多样化、正则化、提前停止 混合旧数据、约束更新、旧能力评估

LoRA 冻结了基座,拔掉适配器就能恢复原能力;但挂着适配器时,输出仍可能出现旧能力退化。

结合项目(照实说)

  • 没有做 early stopping,固定 epoch 数(Agent 1 是 3 个),用最后的权重;10% 验证集只用来看 loss。如果重做,我会按验证集上的任务指标选检查点。
  • 验证集是按样本随机切的,而重新配比时做了上采样,同一条轨迹可能同时出现在训练集和验证集,验证 loss 会偏乐观。真正可信的是 79 个文件的独立测试集,它和训练集是不同的论文和词条。
  • 灾难性遗忘没有专门测。实际影响小,因为每个 Agent 一个独立适配器,基座不动,各 Agent 互不影响;Agent 1 的输入输出格式又是固定的。
  • 实际遇到的训练问题不是过拟合,而是第 2 题说的「样本权重不均导致模型一律输出空」。

第 9 题:SFT + LoRA 完整训练流程

面试题

给定开源模型和高质量 ReAct 轨迹,从模型加载、数据准备、训练更新、保存部署到验证,描述完整流程。

面试推荐回答

  1. 准备基座:加载模型和 tokenizer,配置 LoRA 的 rank、alpha、dropout 和目标层。基座冻结,只训练低秩参数。
  2. 处理数据:轨迹转成聊天模板格式,tokenize 得到 input_ids;非目标 token 的 label 设为 -100;超长样本丢弃或截断。
  3. 前向:模型预测下一个 token,只在目标 token 上算交叉熵。
  4. 反向和更新:loss.backward() 只得到 LoRA 参数的梯度;梯度累积、梯度裁剪,优化器更新 A、B。
  5. 监控:训练 loss、验证 loss,以及任务指标。
  6. 保存和部署:可以只保存适配器,推理时加载基座 + 适配器;也可以合并:$W'=W+(\alpha/r)BA$。
  7. 独立评估:在独立测试集上对比基座、仅 Prompt、SFT 后的效果。

示意配置(我的真实配置):

1
2
3
4
5
6
7
8
9
10
11
12
from peft import LoraConfig, get_peft_model

config = LoraConfig(
r=16,
lora_alpha=32,
lora_dropout=0.05,
bias="none",
task_type="CAUSAL_LM",
# Gemma 3 是多模态模型,正则只匹配语言模型部分,视觉编码器不加
target_modules=r".*language_model.*\.(q_proj|k_proj|v_proj|o_proj|gate_proj|up_proj|down_proj)",
)
model = get_peft_model(model, config)

训练更新示意:

1
2
3
4
5
6
7
loss = loss_fn(model, batch) / grad_accum
loss.backward()
if step % grad_accum == 0:
torch.nn.utils.clip_grad_norm_(model.parameters(), 1.0)
optimizer.step()
scheduler.step() # 预热 10%,然后线性衰减到 0
optimizer.zero_grad()

结合项目:我的一键流程(scripts/remote_sft.py)

  1. 把训练脚本和数据传到 GPU 服务器
  2. 停掉 vLLM 释放显存,在 tmux 里训练,日志实时传回;每 20 步保存检查点(适配器、优化器、调度器、进度),断了可以续训
  3. 训练完保存适配器,合并出完整权重,补齐基座的配置文件
  4. 用 vLLM 部署,通过 SSH 隧道在本地对 79 个测试文件跑评测(解析工具在本地跑,和其他方案一致)

易错点

  • 基座冻结,不代表不需要经过基座做前向和反向。
  • 训练 loss 下降不等于 Agent 能力提高。
  • 4-bit 基座上训的适配器,合并时要用高精度基座。

第 10 题:如何证明微调真正有效?

面试题

  1. 设计哪些 Baseline?有必要做全参微调吗?
  2. 如何划分训练、验证、测试数据,避免同一个 PDF 的轨迹泄漏?
  3. 如何消融拒绝采样、困难样本重采样、Loss Mask?
  4. 评价指标如何排序?

面试推荐回答

从对照实验、数据划分、消融、指标四方面验证。

对照实验:同一套工具、同样的调用上限、同一份测试集,至少比较「未训练模型 + 同一套 ReAct 提示词」和「SFT 后」,这样差别只来自训练。不需要为了证明 SFT 有效去做全参数微调。注意:「全部工具跑一遍的规则基线 vs ReAct」证明的是架构差异,不能单独证明 SFT 的增益。

数据划分:按原始文档划分,不按轨迹划分;同一个文件的所有轨迹必须在同一个集合里。还要处理重复、近重复和同一文档的不同版本。

消融:以完整方案为基准,一次去掉一个组件,控制训练样本数和训练 token 数。

指标优先级:先看解析 F1、选对率;质量达标后再看调用次数、无效动作比例、延迟和成本。F1 下降时,调用次数少了也不算更好。

结合项目:真实结果

方案 F1 选对 平均工具调用 每文件耗时
规则基线(全部工具跑一遍再打分) 0.873 65/79 4.3 2.0 秒
教师 Gemini 0.884 68/79 1.2 15.7 秒
Gemma 3 27B 未训练(同一套 ReAct 提示词) 0.873 65/79 1.1 9.2 秒
Gemma 3 27B SFT 第 2 轮 0.888 70/79 1.2 8.1 秒
oracle 天花板 0.895 — — —

数据划分:训练集 166 个文件,测试集 79 个文件,用的是不同的论文和词条,文件级别完全不重叠;第 2 轮补数据依据的是训练集上教师的错误率,不是测试集分数。

消融(照实说做到了哪一步):

做了 没做
4B 上第 1 轮(只拒绝采样)vs 第 2 轮(加三项补救):60/79 → 73/79 三项补救分别去掉的消融(第 2 轮是一起加的)
「只用第一个工具」:0.818,证明看结果再换工具有用 Loss Mask 的消融(让 observation 参与 loss 只当诊断对照,没跑)

要主动说的局限:测试集只有 79 个文件,0.888 和教师 0.884 的差距在误差范围内,只能说「追平教师」,不能说「超过」;选对数 65 → 70 更有说服力。

一句话总结

按文档隔离数据、同一框架下比较微调前后、对关键组件做消融、在独立测试集上看任务指标,证明模型学会的是可泛化的决策,而不是背下了训练轨迹。


第二部分:GRPO

第 11 题:GRPO 与 PPO 有何区别?

面试题: 为什么用 GRPO?它相比 PPO 解决了什么问题?为什么不直接使用 PPO?

面试推荐回答

传统基于 PPO 的大模型强化学习训练通常需要一个策略模型(Actor)和一个价值模型(Critic)。Critic 用来估计状态价值,辅助计算优势,额外增加模型参数、梯度和优化器状态等训练开销。

GRPO(Group Relative Policy Optimization,组相对策略优化)不需要独立训练 Critic。它针对同一个输入采样一组回答,根据组内奖励的相对高低计算优势,再采用带裁剪的策略优化目标更新 Actor。

因此 GRPO 能减少价值模型相关的训练开销,尤其适合奖励可以通过规则或验证器计算的任务。不过,它需要对同一输入采样多条回答,也会带来生成和评估成本。不能简单说「显存直接减少一半」。

结合项目

我选 GRPO 的直接原因是资源:只有一张 48GB 的卡,27B 模型 4-bit 加载后只训练 LoRA,再多一个同等规模的 Critic 放不下。而且我的奖励大多可以用规则算(完整性、块大小、JSON 是否合法),正适合 GRPO 的「组内比较」。

追问与易错点

  • 典型大模型 RLHF PPO 流程中可能涉及 Actor、Critic、Reference Model、Reward Model;后两者通常冻结。并非每个实现都必须有独立奖励模型,例如规则奖励可以代替它。
  • GRPO 去掉的是独立的 Critic,不是把所有模型都去掉。
  • GRPO 的组内比较是一种相对优势估计,并不等价于准确学习状态价值。
  • PPO 的优势通常是 token 级的(GAE);GRPO 的结果奖励是整条输出一个值,分给这条输出的所有 token。

第 12 题:GRPO 的组内优势函数如何计算?

面试题: 同一个输入生成四条回答,奖励为 [0.2, 0.4, 0.6, 0.8]。优势如何计算?为什么减均值、除标准差?

核心公式

对同一输入的第 $i$ 条回答,常见的组内标准化优势为:

$$ A_i=\frac{R_i-\bar R}{\sigma_R+\varepsilon},\qquad \bar R=\frac1G\sum_{j=1}^{G}R_j. $$

其中 $G$ 是组内采样数,$\varepsilon>0$ 是防止除零的稳定项。不同论文和实现中的标准差估计与零方差处理可能略有区别。

此例均值为 $0.5$;采用总体标准差时 $\sigma_R=\sqrt{0.05}\approx0.2236$,忽略很小的 $\varepsilon$:

回答 奖励 相对均值差 优势值(约) 策略优化倾向
1 0.2 -0.3 -1.342 抑制
2 0.4 -0.1 -0.447 抑制
3 0.6 +0.1 +0.447 鼓励
4 0.8 +0.3 +1.342 鼓励

面试推荐回答

减去组内均值,是为了判断每条回答相对同组其他回答好还是差:高于均值的是正优势,低于均值的是负优势。除以标准差,是为了标准化奖励波动尺度,使不同组的优势数值更可比、帮助训练稳定。

这不是把优势限制到 [-1, 1],也不是自动学习各奖励项的权重。对于序列级奖励,一条回答的优势会用于它生成的所有 token。

结合项目

我的实现和这个例子一样:用总体标准差,分母加 1e-4,全组同分时优势直接设为 0。组大小是 8。

追问与易错点

  • 奖励整体平移不改变优势:所有奖励同时加减一个数,均值跟着变,相减后抵消。所以「成功 1、失败 0」和「成功 0、失败 −1」等价,重要的是分数之间的顺序和差距。
  • 除以标准差有一个已知副作用:组内差异很小的题(几乎全对或几乎全错)会被放大。Dr. GRPO 等工作因此建议去掉除以标准差这一步。

第 13 题:为什么需要 Clip?

面试题: 已有优势函数,为什么还要 Clip?裁剪的是什么?若优势为正而生成概率已大幅提高,会怎样?

核心公式

设 $\pi_\theta$ 为当前策略,$\pi_{\mathrm{old}}$ 为采样时的旧策略,某个生成动作/Token 的概率比为:

$$ r(\theta)=\frac{\pi_\theta(a\mid s)}{\pi_{\mathrm{old}}(a\mid s)}. $$

常见的裁剪代理目标为:

$$ L_{\mathrm{clip}}= \mathbb{E}\left[ \min\left(r(\theta)A,\;\operatorname{clip}(r(\theta),1-\epsilon,1+\epsilon)A\right) \right]. $$

当 $\epsilon=0.2$ 时,裁剪区间是 [0.8, 1.2]。

面试推荐回答

优势函数决定某个行为应该被鼓励还是抑制,而 Clip 限制策略过度更新所带来的额外优化收益。裁剪对象是当前策略与旧策略的概率比值,不是奖励或优势值。

  • 当 $A>0$,如果 $r$ 已超过 1.2,继续提高该行为概率不会继续提高被裁剪的代理目标。
  • 当 $A<0$,如果 $r$ 已低于 0.8,继续降低该行为概率也不会继续改善该代理目标。

注意:Clip 不是强制概率比值绝对不超界。 另外,Clip 比较的是新旧策略;与参考模型的偏移通常由可选的 KL 正则处理。

结合项目

我用的是 0.2,训练日志里被裁剪的 token 比例在 2% 到 8%。说明 Clip 确实在起作用,但大部分更新没有触及边界。

易错点

  • 如果每轮采样后只做一次梯度更新,第一步时新旧策略相同、比值都是 1,Clip 不起作用;只有一轮采样内做多次更新时,比值才会偏离 1。不要说「Clip 一直在起作用」。

第 14 题:如何设计 Agent 的奖励函数?

面试题: 任务成功 +1 / 失败 0,工具正确 +0.5 / 错误 -0.5,每调用一次扣 0.1。如何组合?怎样防止 Agent 为少调用工具而直接停止?

先指出直接相加的问题

直接相加时,难题上一组全部失败,组内唯一的差别就是工具分和效率分:

轨迹 成功 工具 效率 总分
一次都不调用就停止 0 0 0 0(最高)
认真调用 2 次,失败 0 0 −0.2 −0.2
认真调用 5 次,失败 0 −0.5 −0.5 −1.0

GRPO 是组内比较,「直接停止」的优势最大,模型就会学到早点放弃。

面试推荐回答

我会将任务完成作为首要目标,工具使用正确性和调用效率作为辅助目标,用分层奖励:

$$ R=\begin{cases} -2, & \text{输出格式无效},\\ -1, & \text{任务失败},\\ 1+0.7Q+0.3E, & \text{任务成功}, \end{cases} $$

其中 $Q\in[0,1]$ 衡量质量或工具正确比例,$E\in[0,1]$ 衡量成功前提下的调用效率。

  • 失败给固定分,不计效率分:失败的轨迹之间没有「少调用更好」的信号,切断早停的动力
  • 成功的最低分也高于失败:辅助项只用来区分「成功得好不好」
  • 工具分按正确比例算,不按次数累加:防止反复调用正确工具来刷分
  • 效率只扣多余的调用:必要的调用不扣分
  • 格式无效比失败更低:区分「认真做但没做出来」和「输出都写坏了」

如果所有失败轨迹都记为 −1,容易产生奖励稀疏与组内零方差问题。可以在有界范围内为失败轨迹增加过程奖励,例如正确工具选择、参数合法性、内容覆盖等,但要满足两个条件:过程分里不包含效率项(否则又回到「少调用更好」),并且失败轨迹仅凭过程分不能超过成功轨迹。

结合项目

我在 Agent 2 和 Agent 3 的 GRPO 里都是这个思路:输出无效直接给 −1,有效才算其他奖励的加权平均,保证次要的分数不会盖过主要目标。

追问与易错点

  • GRPO 的组内优势函数不会自动调整多个奖励分项的权重;权重需要预设、调参或另行设计机制。
  • 「任务成功优先」要通过奖励范围、门控、封顶或分阶段优化落实,而不只是口头强调。
  • 奖励项不追求越多越好,应关注与真实任务目标的一致性。
  • 硬约束也很有用:结束时必须给出答案或具体的失败理由,没有理由的结束按格式无效处理。

第 15 题:组内奖励全部相同怎么办?

面试题: 同一问题的四条轨迹都失败,奖励全为 0,会发生什么?怎么解决?

面试推荐回答

当组内奖励完全相同时,$R_i-\bar R=0$,组内标准差也为 0。若采用分母加 $\varepsilon$ 的形式,所有优势均为 0。这组轨迹无法提供区分组内优劣的策略学习信号。

需要注意,如果损失中还有 KL 正则等项,它们仍可能有梯度,不能笼统地说「整个模型完全不更新」。

我会从三个角度处理:

  1. 奖励区分度: 为失败轨迹引入可信、有限幅度的过程反馈,例如工具选择正确性、解析内容覆盖、格式合法性;但不包含效率项(见第 14 题)。
  2. 采样多样性: 适当提高温度、增加同题采样数,让组内更可能出现表现不同的轨迹,但不能保证必然有效。
  3. 数据与难度: 采用动态采样(DAPO 的做法:过滤掉全对或全错的组,补采新题)、分层难度或课程学习,提高能够产生有效组内比较的样本比例;同时保留困难样本,防止训练集偏移。

补充:全成功 [1,1,1,1] 也有相同的组内零方差问题。

结合项目

我的实现里,全组同分时优势直接设为 0,这一组不贡献策略梯度。为 Agent 1 设计 GRPO 时,我会先用 SFT 模型在每个文件上采样 8 次,只保留成功率在 0 和 1 之间的文件。SFT 阶段的困难样本就是很好的来源:184 次重采样里只做对了 74 次。


第 16 题:SFT 与 GRPO 有何区别?

面试题: SFT 已经让 Agent 会选工具了,为什么还需要 GRPO?能否直接跳过 SFT?

面试推荐回答

SFT GRPO
学什么 让示范答案的每个 token 概率最大 让奖励高的输出概率变大
数据 固定示范,需要标签 模型自己采样,只需要能打分的奖励
粒度 token 级 整条输出
见到的前文 示范者写的 自己写的,包括自己的错误
上限 示范者水平,连错误也会学 可以超过示范者,只要奖励能衡量
负面信号 没有 有,分低的输出被压低

SFT 通过高质量示范轨迹,让模型模仿正确行为,例如如何选择工具、构造参数、决定继续或停止、遵循输出格式。SFT 不只是修复输出格式。

GRPO 在模型实际采样并执行任务后,依据结果奖励对一组轨迹进行相对比较,进一步优化任务成功率、解析质量和调用效率。它不要求每条轨迹都有标准 Thought/Action 标签,但需要可靠的任务评价信号。

理论上可以不经过 SFT 直接做 GRPO(如 DeepSeek-R1-Zero),前提是基础模型已经有一定的成功率且奖励可靠。但复杂工具任务若初始成功率太低,会出现大量失败、组内无差别,因此通常先 SFT 再 GRPO。SFT 模型还要作为 KL 约束的参考模型。

结合项目(照实说)

Agent 训练 原因 GRPO 效果
Agent 1 只做 SFT 学生 0.888 已超过教师 0.884,离最优解 0.895 只差 0.007 没做
Agent 2 SFT + GRPO 10 轮 完整性、块大小等可以用规则算 提升小:碎块 2 → 0,利用率 0.77 → 0.80
Agent 3 SFT + GRPO 3 轮 想提高召回和结构质量 测试集持平;无效输出 21% → 2%

不能跳过 SFT 的直接证据:未训练的 Gemma 27B 在 Agent 3 上召回率只有 0.319,还有大量无效输出。

易错点

  • 格式错误优先考虑 Schema 约束、数据质量和 SFT;格式不是 GRPO 的设计目标。但要照实说:我在 Agent 3 上实测的主要收获确实是无效输出下降,平均指标没有提升。两者不矛盾。
  • 要区分已经做过的(Agent 1 的 SFT,Agent 2、3 的 GRPO)与方案设计(Agent 1 的 GRPO)。

第 17 题:什么是 Reward Hacking?

面试题: 有效词数越多奖励越高,模型却学会选择输出重复文本的解析器。为什么?怎么修改并验证?

面试推荐回答

这是 Reward Hacking(奖励投机):模型提高了代理奖励,却没有提高真实任务质量。这并非 GRPO 特有,而是强化学习中普遍可能发生的问题。

修改思路:

  1. 有参考答案时,主奖励直接用 F1 或内容覆盖率,不用代理指标
  2. 没有参考答案时才用质量指标,并且:有效词数要扣掉重复内容、设饱和上限,再结合干净度、自然度、结构信息
  3. 各项归一化、控制权重和范围,并用真实任务结果校准

验证时不只看训练奖励,而是准备未参与训练、也不参与奖励调参的独立测试集,覆盖普通、双栏、扫描、表格和公式文档,对比 SFT 与 SFT+GRPO 的解析 F1、成功率、重复率、乱码率、平均工具调用次数和延迟,再用消融实验验证每个奖励项是否有用。

一句话记忆:训练奖励上升不等于实际任务能力上升。

结合项目(加分)

题目里的场景我在规则打分里已经处理过:比较候选结果时,有效长度用的是「有效词数 × (1 − 重复率)」,重复内容不算更完整(agents/parser/quality.py 的 score_candidates)。

另外,我不会把这些质量指标当主奖励:规则基线就是用它们的综合分来选结果的,F1 只有 0.873,比 SFT 学生的 0.888 还低。拿它当主奖励,模型最多学成规则基线。


第 18 题:KL 散度与 Clip 的关系是什么?

面试题: KL 散度是什么?已有 Clip 为什么还需要 KL?$\beta$ 太大或太小会怎样?

核心公式

$$ D_{\mathrm{KL}}(\pi_\theta\|\pi_{\mathrm{ref}}) =\mathbb E_{a\sim\pi_\theta} \left[\log\frac{\pi_\theta(a\mid s)}{\pi_{\mathrm{ref}}(a\mid s)}\right]. $$

它衡量两个概率分布的差异,通常不对称,不是严格的数学距离。

面试推荐回答

Clip 约束的是当前策略与本轮旧策略之间的更新幅度;KL 正则一般用于约束当前策略与固定参考模型之间的分布偏移。

即使每一轮更新都不大,很多轮累积后仍可能偏离参考模型,因此二者作用不同。带 KL 惩罚的目标可概括为:

$$ J=J_{\mathrm{policy}}-\beta D_{\mathrm{KL}}. $$
  • $\beta$ 过大:策略被参考模型约束过强,可能学不动。
  • $\beta$ 过小:约束较弱,策略漂移与奖励投机风险可能增大,但不是必然发生。

注意:GRPO 不一定必须使用显式 KL 惩罚(例如 DAPO 去掉了 KL 项),具体以实现为准。

结合项目

我用 β = 0.04,参考模型是 SFT 的 LoRA,KL 用 k3 估计:$\frac{\pi_{ref}}{\pi_\theta}-\log\frac{\pi_{ref}}{\pi_\theta}-1$,它恒为非负、方差较小。训练中 KL 大多在 0.01 到 0.11,偶尔冲到约 0.4。

加分点

原始 GRPO 把 KL 作为 loss 里单独的一项;经典的 PPO 式 RLHF 是把 KL 惩罚加进奖励里。我的实现属于前者:loss = 策略项 + β × KL(train/grpo_agent2.py:146)。


第 19 题:一次 GRPO 训练迭代如何进行?

面试题: 从输入用户问题到模型参数更新,完整描述一次 GRPO 训练迭代;Old Policy 与 Reference Model 分别负责什么?

面试推荐回答

从 SFT 模型初始化当前策略后,对每个输入,先用采样时的旧策略生成 $G$ 条回答或 Agent 执行轨迹。对于 Agent,需要实际执行工具调用,收集最终结果与调用记录,再通过规则、验证器或奖励模型给每条轨迹打分。

随后按输入分组,计算奖励均值和标准差,得到各条轨迹的相对优势。计算当前策略相对于采样旧策略的 token 概率比,并通过 Clip 目标构造策略损失;如启用了 KL 正则,还要计算相对于参考模型的惩罚。然后反向传播,只更新可训练参数(可以是 LoRA 参数),进入下一轮采样和训练。

  • Old Policy: 提供本批次采样分布和旧 log-prob,用来计算概率比。
  • Reference Model: 通常冻结,为可选 KL 正则提供参考分布。
  • Critic: 标准 GRPO 不需要。

简化伪代码(说明算法,不是可直接运行的训练脚本)

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
policy = load_sft_policy()
reference = load_frozen_reference() # 我的实现:SFT 的 LoRA

for prompts in dataloader:
# 1. 固定本次采样时的旧策略
old_policy = snapshot_for_rollout(policy)

# 2. 每个 prompt 采样 G 条序列/Agent 轨迹(我的实现:G = 8,温度 1.0,用 vLLM)
trajectories = rollout_agent(old_policy, prompts, group_size=8)

# 3. 执行任务、获得每条轨迹的奖励(无效输出直接 -1)
rewards = evaluate_trajectories(trajectories)

# 4. 按同一个 prompt 分组计算优势(全组同分时为 0)
advantages = normalize_rewards_within_each_group(rewards)

# 5. 只针对模型实际生成的 token 计算策略损失
old_logp = log_probs(old_policy, trajectories)
new_logp = log_probs(policy, trajectories)
ratio = exp(new_logp - old_logp)

objective = minimum(
ratio * advantages,
clip(ratio, 0.8, 1.2) * advantages,
)
policy_loss = -masked_mean(objective, generated_token_mask)

# 6. KL 惩罚(我的实现:k3 估计,beta = 0.04)
kl_loss = estimate_kl(policy, reference, trajectories)
loss = policy_loss + beta * kl_loss

optimizer.zero_grad()
loss.backward()
optimizer.step()

工程注意:真实实现还需考虑旧 log-prob 缓存、采样与更新的对齐、序列长度归一化、token 掩码、一轮内的多次更新及具体 KL 估计器。工具返回的 Observation 不是模型生成的,不能当成动作 token 来优化,要和 SFT 时一样屏蔽掉。

结合项目

我的工程实现是在单卡 48GB 上交替进行:先用 vLLM 加载当前 LoRA 采样一轮,算好奖励和优势;再切到训练,只更新策略 LoRA,参考模型是冻结的 SFT LoRA,关掉 dropout 保证新旧 log-prob 可比;训练完把新 LoRA 加载回 vLLM,进入下一轮。


第 20 题:如何将 GRPO 应用到文档解析 Agent?

面试题: 你已经用 SFT 训练了 ReAct 文档解析 Agent,如何进一步设计完整的 GRPO 训练方案?回答数据、采样、奖励、更新和评估。

口径:Agent 1 的 GRPO 是方案设计;训练流程在 Agent 2、Agent 3 上实际跑过,可以复用。

面试推荐回答(2~3 分钟)

第一,数据。 GRPO 不需要标准的 Thought/Action 轨迹,只需要文档和参考答案。训练文件本来就有参考文本(LaTeX 源码、维基正文),离线把 17 个工具都跑一遍,就能知道每个文件的最优解(oracle)。关键是挑题:先用 SFT 模型在每个文件上采样 8 次,只保留成功率在 0 和 1 之间的文件,否则组内没有差别、学不到东西。SFT 阶段的困难样本是很好的来源。按格式分层抽样。

第二,轨迹采样。 每个文件采 8 条完整的 ReAct 轨迹,温度 1.0。工具真实执行,同一文件加同一工具的结果可以缓存。沿用项目中的约束:最多 6 次工具调用,重复调用会被拒绝,无效动作超过 2 次就回退到规则基线。什么时候结束由模型根据观察结果自己判断。轨迹结束时,用最终选出的文本打一次分。

第三,奖励。 分层设计:

1
2
3
4
5
6
7
8
if 有无效动作,或回退到规则基线:   r = -1
elif 选择放弃(fail):
文件确实解析不了(最优解 F1 也接近 0): r = 0
本来能解析却放弃: r = -1
else:
r = F1 / 最优解 F1 # 主奖励
if 达标(F1 ≥ 最优解 − 0.01):
r -= 0.02 × (调用次数 − 1) # 效率只在达标时才扣
  • 主奖励用 F1,不用质量指标:规则基线就是按有效词数、干净度、自然度、重复率的综合分选结果的,F1 只有 0.873,比 SFT 学生 0.888 还低。质量指标留在观察结果里给模型看,只在没有参考答案的文件上作为替代奖励,并加长度保留检查。
  • 效率只在达标时扣,系数小,保证不会鼓励早停。现在平均调用已经是 1.2 次,效率只是次要项。

第四,更新。 组内优势,只在模型自己写的 Thought 和 Action token 上算 loss,观察结果屏蔽;Clip 0.2,对 SFT 模型的 KL 约束 β = 0.04;只训练 LoRA,学习率 5e-6,在 SFT 的 LoRA 上继续训练。解析工具和质量评估模块本身不参与梯度更新。

第五,评估。 同一个 79 份测试集,温度 0,和 SFT 对比:

指标 SFT 现状 希望看到
平均 F1 0.888 接近最优解 0.895
达标文件数 70 / 79 增加
平均调用次数 1.2 不增加
无效动作率、回退率 — 降低
错误放弃的比例 — 不增加(防钻空子)

另外做逐文件配对比较(79 份太少,平均分差距可能是噪声)、按格式分组、奖励项消融(去掉效率项、把主奖励换成质量指标),以及在没见过的格式或更难的文件上测泛化。

主动说明预期:

SFT 已经离最优解只差 0.007,所以我不期望平均 F1 有大提升。我在 Agent 3 上也遇到过:GRPO 后测试集和 SFT 持平,主要收获是无效输出下降。所以 Agent 1 上我更看重达标率、无效动作率和难文件上的稳定性。

概括起来:SFT 先让 Agent 学会正确决策,GRPO 再在质量达标的前提下优化决策成功率和成本。

注意事项

  1. 现有 Agent 1 的工具选择依据是提示词里的通用准则、工具描述和 SFT 训练;GRPO 是进一步的优化方案,要如实说明。
  2. 不要把输出格式修复当成 GRPO 的主要目标;真正有区分度的目标是最终解析效果与工具调用策略。

考前速记表

题号 问题 一句话答案
1 SFT 预训练学通用能力,SFT 学任务行为;同一套 ReAct 提示词下 SFT 让 F1 0.873 → 0.888。
2 SFT Loss 只在 assistant 回合上算交叉熵,其余 -100;目标长短悬殊时按 token 平均。
3 LoRA 原理 冻结 $W$,训练 $A,B$,$\Delta W=(\alpha/r)BA$;我用 r = 16,占 27B 的 0.4%。
4 LoRA vs 全参 主要省梯度和优化器状态;省基座权重的是 QLoRA 的 4-bit。
5 超参数 Rank 管容量、Alpha 管缩放、Dropout 管正则;我的超参数没做对比实验。
6 数据构造 教师蒸馏 + 真实 observation + 拒绝采样 + 三项补救;只做拒绝采样时选对数反而下降。
7 Loss Mask 按回合渲染聊天模板,上下文全 -100,回合本身含结束符参与 loss。
8 训练风险 过拟合 = 泛化差;遗忘 = 旧能力下降;我没做 early stopping,没测遗忘。
9 训练流程 加载 → 模板化和掩码 → 前向 → loss → 反向 → 保存或合并 → 独立评测。
10 证明有效 文件级划分 + 同框架前后对照 + 消融 + 独立测试集;79 个文件,只说追平教师。
11 GRPO vs PPO 去掉独立 Critic,用组内奖励估计相对优势;我单卡 48GB 放不下 Critic。
12 优势函数 自身奖励减组均值、除组标准差;整体平移不改变结果。
13 Clip 裁剪新旧策略概率比的代理目标收益,不是硬截断;我实测裁剪 2%~8%。
14 奖励设计 分层:格式无效 < 失败(固定分,不计效率)< 成功(加辅助项,有下限)。
15 全组同分 优势全为零;改奖励、提高采样多样性、动态采样只保留有差别的题。
16 SFT vs GRPO SFT 模仿示范;GRPO 用奖励优化结果。我的 GRPO 提升小,照实说。
17 Reward Hacking 有参考答案就用 F1 当主奖励;质量指标是规则基线的打分,上限低。
18 KL vs Clip Clip 对旧策略,KL 对参考模型;我用 β = 0.04、k3 估计。
19 训练流程 采样 → 工具执行 → 奖励 → 相对优势 → Clip/KL → 更新 LoRA。
20 Agent 落地 Agent 1 是方案;最多 6 次调用,F1 主奖励,重在稳定性而非平均分。

常见口误纠正

SFT 和 LoRA

  • ❌「SFT 就是学格式」→ ✅「还学工具选择、换不换工具、什么时候停。」
  • ❌「LoRA 把 W 换成 AB」→ ✅「W 冻结保留,叠加一个低秩更新。」
  • ❌「LoRA 显存减少 99%」→ ✅「可训练参数比例不等于显存比例;省基座显存靠 QLoRA。」
  • ❌「Rank 越大越好」→ ✅「容量大了也可能过拟合、增加成本。」
  • ❌「Observation 不算 loss 就没用」→ ✅「它仍是下一步决策的上下文。」
  • ❌「训练 loss 下降证明 Agent 更强」→ ✅「必须看独立测试集的任务指标。」
  • ❌「Agent 失败时 OCR 兜底」→ ✅「OCR 是工具池里的工具;兜底是无效动作超过 2 次回退到规则基线。」
  • ❌「我的 SFT 模型超过了教师」→ ✅「0.888 对 0.884,79 个文件上在误差范围内,说追平。」
  • ❌「我用验证集做了 early stopping」→ ✅「固定 epoch,用最后的权重;验证集只看 loss。」

GRPO

  • ❌「GRPO 显存直接砍半」→ ✅「省去独立 Critic 的训练开销,但总体节省幅度看实现。」
  • ❌「GRPO 组内优势函数自动调奖励权重」→ ✅「奖励权重先由奖励设计确定,再计算组内优势。」
  • ❌「Clip 防止偏离 Reference Model」→ ✅「Clip 比较当前策略和 Old Policy;KL 比较 Reference Model。」
  • ❌「Clip 保证概率比在 0.8~1.2」→ ✅「Clip 限制超界部分的额外收益,不是硬约束。」
  • ❌「SFT 只学格式,GRPO 修复格式」→ ✅「SFT 学示范决策;GRPO 优化奖励对应的任务表现。」
  • ❌「所有奖励相同,任何损失都没有梯度」→ ✅「策略项没有信号,但 KL 等项仍可能有梯度。」
  • ❌「Reward 越高说明模型越好」→ ✅「必须看独立测试集的真实任务质量。」
  • ❌「Agent 1 最多调用 4 次工具」→ ✅「最多 6 次;无效动作超过 2 次回退到规则基线。」
  • ❌「我在 Agent 1 上做了 GRPO」→ ✅「Agent 1 只做了 SFT;GRPO 做在 Agent 2、Agent 3 上。」
  • ❌「GRPO 让我的模型明显变好」→ ✅「Agent 2 提升小,Agent 3 测试集持平,主要收获是无效输出下降。」

站内搜索

没有找到内容!