深度学习正则化 —— 控制容量的实战武器库（十七）

张开发
• 2026/4/20 19:49:13 • 15 分钟阅读

最新文章

推荐文章

相关文章

分享文章

深度学习正则化 —— 控制容量的实战武器库（十七）
1. 定位导航上一篇说明了过拟合的危害——模型记住训练集噪声而无法泛化。本篇是实战武器库：每一种正则化技术的数学原理 + 数值推演 + 何时使用。正则化的统一定义（Goodfellow）：正则化 = 修改学习算法，使其降低泛化误差（而非训练误差）的任何手段。2. 正则化的统一框架绝大多数正则化手段都可以写成在目标函数中添加惩罚项：J~(θ;X,y)=J(θ;X,y)+α⋅Ω(θ)\tilde{J}(\boldsymbol{\theta}; \mathbf{X}, \mathbf{y}) = J(\boldsymbol{\theta}; \mathbf{X}, \mathbf{y}) + \alpha \cdot \Omega(\boldsymbol{\theta})

更多文章