常用损失函数
SSE(和方差)
最简单的了,就是拟合数据和原始对应点的误差的平方和(有平方和是为了排除负的情况)

MES(均方方差)
比SSE稍微厉害一点,是预测数据和原始数据对应点误差的平方和的均值,即SSE/n(n为样本个数)

RMSE(拟合标准差)
是MSE的平方根。又叫回归系统的拟合标准差

缺点
MSE
当偏导值接近0或1时,梯度可能会消失,如下图所示:

这导致模型在一开始学习时的速率很慢,这是可以使用交叉熵作为损失函数
最简单的了,就是拟合数据和原始对应点的误差的平方和(有平方和是为了排除负的情况)

比SSE稍微厉害一点,是预测数据和原始数据对应点误差的平方和的均值,即SSE/n(n为样本个数)

是MSE的平方根。又叫回归系统的拟合标准差

当偏导值接近0或1时,梯度可能会消失,如下图所示:

这导致模型在一开始学习时的速率很慢,这是可以使用交叉熵作为损失函数