PPO理解首先是大模型工业目前常用到的顺序为: 12345fine-turn | SFT | RL RL有很多，比如说PPO，GRPO等等 为什么需要RL呢？ PPO有四个部分组成，分别为Actor, critic, Reference...

RL基础篇1. 四元组强化学习基础不多说了 2. 马尔可夫链当前状态只和前一状态相关 123s1 -> a1 -> s2 -> a2 -> ... -> an -> sn \ \ \ ...