强化学习5 近端策略优化（PPO）近端策略优化（proximal policy optimization，PPO）PPO是策略梯度的变形，首先给出强化学习的默认梯度更新公式 $$ \nabla \bar{R}_\theta = \mathbb{E}_{\tau \sim p_\the...2026-03-09强化学习
强化学习7 DQN进阶（DDQN）DQN进阶1. 双深度Q网络（double DQN，DDQN）为了解决DQN中高估（overestimation）的问题，引入了DDQN，标准DQN中 $$ y = r +\gamma \max_{a'}Q_{target}(s',a') $$ DQ...2026-03-09强化学习
强化学习6 深度Q网络（DQN）深度Q网格（Deep Q-network, DQN）在第二章Markov的时候，我们已经了解到了$V(s)$和$Q(s,a)$，但如果说连续型空间的话，存在无数个情况，表格型直接爆炸，所以我们需要价值函数近似利用函数直接拟合状态价值函数或动作价值函数...2026-03-09强化学习
强化学习4 策略梯度（Policy Gradient, PG）策略梯度（Policy Gradient, PG）在之前的Q-table中，由于Q值与感知态的强绑定问题，无法学习随机策略（也无法区分感知相同但需求不同的状态，比如说非对称），因此需要使用PG求解， 在一些情节，比如说机器臂（连续动作空间），石头剪刀...2025-12-20强化学习
强化学习3 表格型方法强化学习3 表格型方法策略最简单的表示是查找表（look-up table），即表格型策略（tabular policy）。使用查找表的强化学习方法称为表格型方法（tabular method），如蒙特卡洛、Q学习和Sarsa。本章通过最简单的表格型...2025-12-20强化学习
强化学习2 马尔可夫强化学习2 马尔可夫决策过程(Markov Decision Process, MDP)1 马尔可夫性质(Markov property)对于天气预报而言，今天是否下雨只取决于前一天的天气情况，无关于前2345…n天的情况。这就是MP(马尔可夫性质，...2025-12-20强化学习
强化学习1 基础强化学习1 基础1.1 概述懒的说了，自己百度一下什么都有，或者去看AI世界大入门去 1.2 基本定义给出一些定义，这章没什么好看的，不亚于看一篇论文的时候看了半个小时intro。 强化学习（reinforcement learning，RL）：智...2025-12-19强化学习