迭代随机计算的通用预训练

迭代随机计算的通用预训练
Universal pre-training by iterated random computation

原始链接: https://arxiv.org/abs/2506.20057

arXivLabs是一个框架，允许合作者直接在我们的网站上开发和共享新的arXiv功能。与arXivLabs合作的个人和组织都接受了我们的开放、社区、卓越和用户数据隐私价值观。arXiv致力于这些价值观，只与遵守这些价值观的合作伙伴合作。您对一个能为arXiv社区增加价值的项目有什么想法吗？了解更多关于arXivLabs的信息。

这篇Hacker News帖子讨论了一篇新的研究论文，提出了一种使用随机生成数据的新的预训练方法。理论上的依据是序列模型可以近似Solomonoff归纳法，这是一个与算法复杂性相关的概念。本文提供了支持该方法的理论和实证证据。实验表明，在合成数据上预先训练的模型在各种数据集上表现出零样本上下文学习能力，这种性能随模型大小而变化。此外，该研究将这些发现扩展到现实世界的数据中，表明以这种方式对预先训练的模型进行微调可以加快收敛速度并提高泛化能力。该帖子还包括提供论文摘要的提交者（liamdgray）的评论。最后，有一则广告适用于YC的2025年秋季批次。

arXivLabs is a framework that allows collaborators to develop and share new arXiv features directly on our website.

Both individuals and organizations that work with arXivLabs have embraced and accepted our values of openness, community, excellence, and user data privacy. arXiv is committed to these values and only works with partners that adhere to them.

Have an idea for a project that will add value for arXiv's community? Learn more about arXivLabs.

迭代随机计算的通用预训练 Universal pre-training by iterated random computation

迭代随机计算的通用预训练
Universal pre-training by iterated random computation