过度参数化的谜之成功:彩票假说还是维度逃逸?
Puzzling Success of Overparameterization: Lottery Tickets or Escape Dimensions?

原始链接: https://infoscience.epfl.ch/entities/publication/9a49779b-f9f8-448d-b3d1-737c78455309

人工验证:为了继续操作,您需要通过完成验证码来证明您不是机器人。该验证码需要 JavaScript 支持。请启用 JavaScript 后重新加载页面。

Hacker News | 最新 | 往期 | 评论 | 提问 | 展示 | 招聘 | 提交 | 登录 过度参数化的令人困惑的成功:彩票假设还是维度逃逸? (epfl.ch) 9 分 | rbanffy 发布于 2 小时前 | 隐藏 | 往期 | 收藏 | 1 条评论 | 帮助 Scene_Cast2 11 分钟前 [–] 如果我没记错的话,“彩票假设”(Lottery Ticket Hypothesis)的原始作者现在已经不再支持这一观点了。 一种直观的理解方式如下:假设你有一个看起来像高斯分布的图表,你想去拟合它。你有一个极其简单的模型,可以左右移动你的高斯分布。 如果你的初始位置恰好在范围内,那很好,优化器会帮你把它移动到正确的位置。如果距离太远,那就很糟糕,因为没有有效的梯度。 相反,神经网络给了你随处生成高斯分布的能力。在这种情况下,不需要进行移动,但代价是高昂的参数化成本。 回复 指南 | 常见问题 | 列表 | API | 安全 | 法律 | 申请 YC | 联系 搜索:
相关文章

原文
Human Verification
联系我们 contact @ memedata.com