Lesson-13
丢弃法
动机:一个好的模型需要对输入数据的扰动鲁棒
丢弃法在层之间加入噪音。
无偏差地加入噪音:
无偏差指的是\(E[x'] = E[x]\)
\[x'=\left\{ \begin{aligned} 0 && \text{with the probablity p} \\ \frac{x}{1-p} && \text{otherise} \end{aligned} \right.\]
即一定可能性下归为0,一定可能性下放大
通常将丢弃法作用在隐藏全连接层的输出上,即\(h' = \text{dropout}(h)\) 只在训练的时候进行dropout,推理的时候不用dropout 实现代码如下:
1 2 3 4 5 6 7 8 9 |
|
本页面最近更新:,更新历史
发现错误?想一起完善? 在 GitHub 上编辑此页!
本页面贡献者:OI-wiki
本页面的全部内容在 协议之条款下提供,附加条款亦可能应用