transformer架构总流程 encoder层目的做完形填空，如‘我今天[MASK]了一碗面’.encoder通过双边注意力来猜测mask是什么 1. inputs & input embedding单纯的查表，将每个token拆为表中所...

近端策略优化（proximal policy optimization，PPO）PPO是策略梯度的变形，首先给出强化学习的默认梯度更新公式 $$ \nabla \bar{R}_\theta = \mathbb{E}_{\tau \sim p_\the...

DQN进阶1. 双深度Q网络（double DQN，DDQN）为了解决DQN中高估（overestimation）的问题，引入了DDQN，标准DQN中 $$ y = r +\gamma \max_{a'}Q_{target}(s',a') $$ DQ...

深度Q网格（Deep Q-network, DQN）在第二章Markov的时候，我们已经了解到了$V(s)$和$Q(s,a)$，但如果说连续型空间的话，存在无数个情况，表格型直接爆炸，所以我们需要价值函数近似利用函数直接拟合状态价值函数或动作价值函数...

City Learn实战Glossary简单介绍一些常用缩写 HVAC (Heating, Ventilation and Air Conditioning): 暖通空调系统。建筑中耗电量最大的部分，也是 CityLearn 中主要的可控负荷。 DH...

策略梯度（Policy Gradient, PG）在之前的Q-table中，由于Q值与感知态的强绑定问题，无法学习随机策略（也无法区分感知相同但需求不同的状态，比如说非对称），因此需要使用PG求解， 在一些情节，比如说机器臂（连续动作空间），石头剪刀...

强化学习3 表格型方法策略最简单的表示是查找表（look-up table），即表格型策略（tabular policy）。使用查找表的强化学习方法称为表格型方法（tabular method），如蒙特卡洛、Q学习和Sarsa。本章通过最简单的表格型...

强化学习2 马尔可夫决策过程(Markov Decision Process, MDP)1 马尔可夫性质(Markov property)对于天气预报而言，今天是否下雨只取决于前一天的天气情况，无关于前2345…n天的情况。这就是MP(马尔可夫性质，...

强化学习1 基础1.1 概述懒的说了，自己百度一下什么都有，或者去看AI世界大入门去 1.2 基本定义给出一些定义，这章没什么好看的，不亚于看一篇论文的时候看了半个小时intro。 强化学习（reinforcement learning，RL）：智...

代码路径：https://github.com/zqqqqqqj1110/CityLearn_exp.gittarget比较不同任务配置下，RBC（Rule-Based Control）与 RLC（Reinforcement Learning Con...