谷歌

一、总体架构

1. 为什么做成多 Agent,4个agent的理由是什么?为什么不是2,6?

首先我明确了自己的任务是四个阶段的,如果2个agent会导致每个agent相比现在会

  1. 有更复杂的任务

  2. 错误更难定位

  3. 优化不方便

将agent2二合一的理由是(内容重建与切块)

  1. 内容重建会直接影响语意切块的边界,我需要维护完整性
  2. 可以同时针对完整度,清晰度,块质量的联合优化

将agent3二合一的理由是(QA 提取与逻辑重建)

  1. 重建需要用到qa对的主题从属和逻辑关系
  2. 上下文依赖强的任务可合并

总而言之,数量取决于能否将每个任务完全分割开,单独判断他们的效果并优化难易程度

2. 为什么采用 Workflow而不是harness?

harness跟适合在给定约束下,模型自主决策,但是我还是使用了workflow的原因有三个

  1. 已经有了明确的子任务,并每个子任务都有明确的输入和输出

  2. 灵活任务只存在于agent1,因此只需要在agent1内部使用react,不需要全局harness

  3. 每一个agent的输出都可以单独验证,并且可以更方便的构建SFT数据,GRPO奖励函数

3. Workflow、Harness、自主 Agent 分别适合什么场景?

参考回答: Workflow 适合阶段固定、合规性和可复现要求高的流程;Harness 适合需要为 Agent 提供工具调用、状态管理、验证和恢复能力的执行系统,它可以服务于固定流程或动态 Agent;自主 Agent 适合需要动态制定计划的开放任务,例如跨网站研究或复杂软件维护。我的项目使用“固定主流程 + 局部自主选择 + 执行约束”,更符合实际需求。

课堂依据(部分): 后节课 24:46–27:19 讲了三者在“框架与工具选择自由度”上的差异。

可能追问: 一个 Workflow 是否也可以拥有 Harness 能力?

二、Agent 1

4. 为什么支持多种文件格式,而且每个格式只用一种解析器不行吗?

$$ \boxed{ \text{用户知识来源多样} \rightarrow \text{需要支持多种文件格式} \rightarrow \text{不同文件适合不同解析器} \rightarrow \text{使用 ReAct 动态选择工具} } $$

用户知识的来源是多样的(知识,学习资料,工作文档等等),不能让用户自己手动转文件

不行,虽然格式相同,举个例子,同一个pdf文件,有些可能是扫描件,有一些是双栏,有一些是数学方向的论文包含很多公式,不同解析器会有不同的适用范围

6. 为什么用 ReAct,不用plan-and-execute or reflection?

Plan-and-execute适合先规划好所有任务再执行,但我的agent已经有了明确的任务规划,就是选择合适的工具并解析,因此排除,而且没有结果的情况下输出反而无用

react是最适合agent1的方法,文件格式类型各式各样,所以不一定会直接调用到效果最高的解析器,react为thought- action- observation循环。我可以将自己设置的质量指标保存在observation中,模型可以通过observation来判断是否需要更换还是结束

reflection为模型对自己的输出做判断,但我已经有了质量指标且包含在了observation中,没必要再添加作用相同的模块

7. 为什么要做轨迹蒸馏,没有可以吗?

也做过没有轨迹蒸馏的实验,但是不会根据质量指标来选择工具,和baseline差不多,0.873

在做了轨迹蒸馏之后,模型可以通过react的observation和thought得到更好的效果,轨迹蒸馏本质是让模型学习到决策过程

8. 为什么用 OCR 兜底?

OCR 不依赖文本层,别的工具都失败时它仍然能用;但它有损又慢,所以只当兜底

9. 为什么需要质量指标,为什么选这几个?

因为训练和评测的时候有真实答案,但是真实用户上传的时候是没有的,因此需要通过质量指标判断工具选择的合适性

五个指标分别为:

有效词语,自然度,干净度,重复率,表/公式/标题缺失数量

从维度出发

维度 意思
完整 内容没漏
可读 是正常的文字,不是乱码
没有噪声 没有多出来的重复和垃圾
结构保留 标题、表格、公式还在

单看一个结果,发现不了「悄悄漏了一小部分」:比如少了一段,自然度和干净度都正常,字数也不算太少。有效词数要和同一文件的其他结果比才有意义。这也是为什么指标只给模型做参考,最终由模型结合预览来判断。

10. 为什么需要拒绝采样呢?拒绝采样是什么

拒绝采样就是让教师模型生成的轨迹通过F1,保留对的去除错的

因为喂给sft是什么数据,就会是什么结果,我希望可以给他高质量的数据

11. 为什么还需要事后纠正和难样本重采样

教师模型在面对难题是容易出错,全都剔除容易造成数据偏差,导致难题难以被训练,因此需要难样本重采样,方法是

重采样: 教师做错的文件,用温度 0.8 再采 4 次,做对的留下

事后纠正: 重采样后仍然做不对的文件,用标准答案确定正确的工具路径,真实执行工具,再让教师根据真实的观察结果补写理由

12. 为什么用lora,不用可以吗

  1. 全参数27b在单卡上开销太大
  2. 部署阶段,4个agent共用一个基座
  3. 数据过少,容易过拟合
  4. 保留基座能力,本身就带有阅读能力

三、Agent 2

13. 为什么需要内容重建,直接拿解析器做输出可行吗?

agent1只是用来解析文本,但里面的问题如页眉页脚残留,网页残留按钮等问题还在,直接做输出不行

直接拿agent1的输出当agent3的输入肯定不行,上面说的是第一个原因,第二个原因是因为重建文本后还需要切块,不然一整个文档的上下文太大

直接用解析器的f1为0.807,做完agent2后的f1为0.853

14. 为什么必须切块而不是整篇文档一次处理?

  1. 虽然gemma3的输入窗口为128k大部分够,但是输出太长
  2. 输入长的情况下,模型容易遗忘中间的内容
  3. 块可以并行运行在agent3中,出问题只需要重新做单独的块,而不是全文

15. 为什么是4096

常用块的范围是2的幂次方,我需要确保可以装下一段完整的推导公式或一个小节,所以rag常用的512和1024不能用,尝试用过2048,但是29%小节都会被中途切段,综合考虑使用4096,8192可以,但是已经趋于饱和97%,且输出要乘2.太大

16. 块是怎么切的

先由大模型标记切分点,然后程序进行切块并校验。保证在一个块中有足够多的切分点

当两切点之间的token大于4096时,优先级为:章节 -> 段落 -> 句子 -> 标点符号,接着强制切分。针对必须夸段的内容,在前加上上一段的提示词(如上接xx主题)

17. 输出不合法率是啥(?)

输出不合法率 = 解析失败的块数 / 检查的总块数

18. 为什么用 SFT,然后还要用到GRPO呢?

先通过SFT,让gemma3在教师模型的高质量轨迹下学习到基本能力,如修复正文和切割点的划分

但教师模型的最终结果并不是最终想要的结果,只用SFT仅会逼近教师模型,我的项目任务目标依旧无法达成,因此我需要用到GRPO,通过自定义五项奖励的方法达到我想要的合理方案

直接用GRPO的话,模型会导致输出格式不正确的概率大,导致各奖励的组内均质为都一样,GRPO学不到东西

(缺个指标)

19. 为什么是五项奖励,权重怎么调,奖励太多太少怎么办?

五项奖励分别为

任务 奖励 解决的问题
内容重建 ① 完整度 防止有效信息丢失
内容重建 ② 清晰度 保证文本结构清晰、语义连贯
语义切块 ③ 长度合法性 保证 Chunk 不超过 4096 Token
语义切块 ④ 块独立性 减少跨块依赖与重复内容
语义切块 ⑤ 长度利用率 避免切得过碎,减少 Chunk 数量

奖励设置逻辑

有1没有2: 所有内容,但页眉,错行,断词

有2没有1: 为了通顺直接删掉复杂公式

有3没有4: 可能出现块重复

有4没有5: 块过碎,增加agent3的成本

有5没有3: 切炒鸡大块

权重调整逻辑:

波动越大就加大权重,饱和就设置为常数

太多太少怎么办:

奖励不能太少,不然会导致模型钻空子造成reward hacking;奖励不能太多,不然会导致重复评价,奖励冲突和计算效率增加

20. 为什么不用PPO,而是GRPO

GRPO节省很大的显存压力,相比于PPO需要训练critic和actor,GRPO只要训练一个模型,critic用优势函数计算的组内均质代替。而且我关注的是每个候选之间的差异

四、Agent 3:QA 提取与知识组织

21. 为什么将知识抽取为 QA 对而不是 KV 对,生成摘要行不行?

首先生成摘要是不行的,这会压缩内容丢失叫小细节

KV对主要针对的是属性,事实等字段,在文本检索的时候没啥用,大部分都是知识都是原理是什么,为什么这样做等

QA对主要针对原因,逻辑和关系等,符合用户向自然语言提问的逻辑

22. 为什么需要QA提取这一步呢,直接用agent2的输出不行吗?

QA的本质是将chunk转化为更小的单元,后续要通过same/related/none连接知识树。如果用chunk的话太大,且一个chunk可能包含多个知识点

最后还会有去重部分,如果两个chunk包含相同知识点,和不同知识点,相似度会被其他的知识点影响

23. 为什么需要 Topic(主题)

因为所有QA对都是平行关系,如果要用到知识树的话,需要给一个父节点。

我知识树的设计是主题和问答。这可以在跨文档合并时,把QA对放在归属主题下,不会让书太碎

24. Topic如何选择

每个chunk起n个自己的topic名字(通过LLM),提示词要求的是一个主题下放几个到十几个问答,不要把整块塞进一个主题

不过每个chunk的topic可能会有相同,因此需要去重

25. 为什么使用知识树而不是知识图谱

因为知识树更适合用于文档的复习,图谱适合推理和多跳查询。

知识图谱的结构是实体-关系-实体,文章大多数为一段解释,用知识图谱形式会丢失大量信息

26. 知识树构建?

  1. 提取QA对,GRPO同步训练这一步
  2. 规范化,把没有主题的问答归到本块标题下
  3. 合并问答,再合并主题。用embedding找候选,通过same/related/none合并,same合并,related连边
  4. 发现新文档,循环操作

27. 为什么需要去重?

不进行去重,就容易出现重复的 QA 或者 Topic,造成知识树冗余,也不利于用户后续的检索和复习。

所以在第三步构建知识树的时候合并

追问:为什么不直接根据 Embedding 相似度去重?

因为 Embedding 相似度高,只能说明两个知识点在语义上接近,不能说明它们一定是同一个知识点。 embedding用程序计算,后者用LLM判断

28. 为什么先用 embedding 召回,再用 LLM 判断?

全用LLM的成本太高,当新出一个QA对后,需要对每个已有的QA对都做一次LLM。所以先用embedding计算语意相似度找回top-k候选,再用LLM进行判断same/related/none

五、Agent 4:全局质检、归因与修正

29. 为什么需要 Agent4?

因为前三个agent是串联,出错会传给下一个agent。所以需要agent4由上往下排查问题

30. 推理是啥?

推理就是agent自己写错误分析过程,比如说Agent1 的输出包含某个公式,但 Agent2 的输出没有了,那么就可以把问题定位到 Agent2

31. 为什么全局检查而不只做局部检查?

主要还是因为多 Agent 串行 Workflow,局部检查很难全面判断这种跨阶段的问题

32. 为什么需要错误归因?

因为 Agent4 不能简单地看最终结果,然后随便猜测哪个 Agent 出错。

例如:

  • Agent1 的输出有公式。
  • Agent2 的输出没有公式。
  • Agent3 的输出也没有公式。

通过对比这些中间结果,Agent4 才能提出有依据的判断:公式最可能在 Agent2 阶段丢失。

这个过程就是基于证据进行错误归因。

33. 为什么提供修改建议?

归因发现问题在哪,修改意见告诉agent怎么修

34. 为什么训练时注入错误样本?

  1. 错误样本不足: 大部分样本可能是正确的,Agent4 很难充分学习如何识别错误。
  2. 错误类型不均衡: 比如 Agent3 的 QA 合并错误比较常见,但 Agent1 的公式解析缺失比较少,模型可能更擅长识别某一类错误。

35. 为什么 Agent4 使用 SFT+GRPO,目的是啥?

SFT(监督微调)的主要作用,是让模型学习标准的错误分析流程和输出格式。

GRPO让让判断更准确

36. 有错误会退到agent4的话,如果一直循环或无法解决怎么办?

  1. 设置重试次数上限,每个agent最多有一次额外修改的次数

  2. 还是失败就停止报告问题

37. 为什么奖励这样设计?

Agent4 的奖励设计主要围绕它的核心任务,也就是错误检测和错误归因。

首先是错误检测的准确性,因为 Agent4 必须能够判断上游处理结果是否存在问题,同时尽量避免误报和漏报。

其次是错误归因的准确性。因为仅仅发现错误还不够,我们还需要判断错误最早发生在哪个 Agent,才能把修改建议反馈给对应的模块。

比如 Agent2 误删了一个公式,导致 Agent3 没有提取对应的 QA。如果只奖励错误检测,那么模型发现知识缺失就可能得到高分,但它不一定知道错误发生在 Agent2。

所以我们需要将检测和归因分别评价,让模型不仅学会发现错误,还能够定位错误来源。

整个奖励设计的思路就是围绕不同的任务目标设置评价信号,而不是单纯增加奖励项的数量。

六、项目主线

我这个项目主要是将用户上传的 PDF、Word、PPT 等不同格式的文件,自动整理成思维导图式的个人知识库。

因为整个任务有明确的先后依赖关系,所以我采用了四阶段的 Agent Workflow。

第一个 Agent 是文档解析。 因为不同格式和版式适合的解析器不同,所以采用 ReAct 动态选择工具,并通过轨迹蒸馏优化工具选择策略。

第二个 Agent 是内容重建和切块。 因为解析后的文本可能存在格式错乱,而且长文档不适合一次性处理,所以使用 SFT 加 GRPO 修复内容,再切成语义完整的块。

第三个 Agent 是 QA 提取和知识树构建。 因为 Chunk 的知识粒度比较粗,所以先提取 QA,再进行知识去重、关系判断和逻辑重建。

第四个 Agent 是全局检查。 因为上游错误可能传递到下游,所以需要检查整个执行链路,定位错误来源并给出修改建议。

整个项目主要解决的是多格式文档解析、长文本处理、知识组织以及错误传播这四个问题。

站内搜索

没有找到内容!