LLM 算法岗 | 面试常问的 LLM 八股题目汇总 整理自博客园 moonout 目录 1. Transformer 与模型架构原理 2. 大模型训练流程与微调技术 3. 强化学习与人类对齐 (RLHF) 4. Agent 智能体设计与应用 5...

PPO理解首先是大模型工业目前常用到的顺序为: 12345fine-turn | SFT | RL RL有很多，比如说PPO，GRPO等等 为什么需要RL呢？ PPO有四个部分组成，分别为Actor, critic, Reference...

RL基础篇1. 四元组强化学习基础不多说了 2. 马尔可夫链当前状态只和前一状态相关 123s1 -> a1 -> s2 -> a2 -> ... -> an -> sn \ \ \ ...

transformer架构总流程 encoder层目的做完形填空，如‘我今天[MASK]了一碗面’.encoder通过双边注意力来猜测mask是什么 1. inputs & input embedding单纯的查表，将每个token拆为表中所...

近端策略优化（proximal policy optimization，PPO）PPO是策略梯度的变形，首先给出强化学习的默认梯度更新公式 $$ \nabla \bar{R}_\theta = \mathbb{E}_{\tau \sim p_\the...

深度Q网格（Deep Q-network, DQN）在第二章Markov的时候，我们已经了解到了$V(s)$和$Q(s,a)$，但如果说连续型空间的话，存在无数个情况，表格型直接爆炸，所以我们需要价值函数近似利用函数直接拟合状态价值函数或动作价值函数...

DQN进阶1. 双深度Q网络（double DQN，DDQN）为了解决DQN中高估（overestimation）的问题，引入了DDQN，标准DQN中 $$ y = r +\gamma \max_{a'}Q_{target}(s',a') $$ DQ...

City Learn实战Glossary简单介绍一些常用缩写 HVAC (Heating, Ventilation and Air Conditioning): 暖通空调系统。建筑中耗电量最大的部分，也是 CityLearn 中主要的可控负荷。 DH...

策略梯度（Policy Gradient, PG）在之前的Q-table中，由于Q值与感知态的强绑定问题，无法学习随机策略（也无法区分感知相同但需求不同的状态，比如说非对称），因此需要使用PG求解， 在一些情节，比如说机器臂（连续动作空间），石头剪刀...

强化学习3 表格型方法策略最简单的表示是查找表（look-up table），即表格型策略（tabular policy）。使用查找表的强化学习方法称为表格型方法（tabular method），如蒙特卡洛、Q学习和Sarsa。本章通过最简单的表格型...