**mini-AGI** 是一款实验性的字节级语言模型，专为在普通消费级硬件（8 GB 显存）上进行持续学习而设计。与训练后即固化的标准大语言模型不同，mini-AGI 能从数据流中持续学习，且不会出现“灾难性遗忘”。
**核心技术创新包括：**
* **基于磁盘的扩展：** 权重存储在磁盘上并动态分页加载至显存。这使得参数容量与 GPU 内存解耦，允许模型随着磁盘空间的增加而无限扩展。
* **动态架构：** 模型能够自我构建，在需要容量时增加新的“专家”，并剪枝不常用的部分。它使用了一种循环且自适应深度的模块（灵感源自 PonderNet），可根据输入的复杂度调整计算量。
* **持续学习：** 通过维护一个学习率显著低于专家池的“主干”（嵌入和路由），模型在吸收新信息的同时能够保留先前的知识。
* **字节级处理：** 直接在 256 个字节值上运行，无需分词器，能够原生处理任何文本格式。
mini-AGI 目前是一个小规模研究项目，它证明了在本地硬件上实现个性化、进化式人工智能是可行的，从而有效地将静态模型转变为一种能从每次交互中学习的系统。
每日HackerNews RSS
Hacker News 用户 “volotat” 最近分享了一个名为“Mini-AGI”的项目，旨在支持消费级硬件（特别是 8GB 显存）上的持续学习。作者采用了混合专家（MoE）架构，通过动态添加或剪枝专家，并利用“批次为 1”的训练方式，以规避内存限制并解决灾难性遗忘问题。
这一发布在评论区引发了广泛讨论。支持者赞赏其在普及人工智能训练和探索有机、高效硬件学习方面的尝试。然而，许多批评者认为“AGI”的命名具有误导性，指出该模型目前训练不足、输出缺乏逻辑且存在性能问题。
尽管作者坚称该模型旨在“从持续的数据流中学习”，而非立即达到人类水平的智能，但反对者指出，该项目缺乏基准测试、消融研究或真正的泛化能力证明。作者计划在当前语料库训练完成后发布权重和更多技术细节，希望该项目能激发本地化、社区驱动的 AI 开发。
请启用 JavaScript 并禁用任何广告拦截器
对不起。
这是一段 PDF 文件的内部结构代码，并非可阅读的文本内容。
迈克尔·A·克莱门斯（Michael A. Clemens）和伊桑·G·刘易斯（Ethan G. Lewis）发表在《美国经济学杂志：应用经济学》上的一项研究，为低技能移民对经济的影响提供了新的证据。研究人员利用H-2B签证的随机抽签机制（该签证为季节性低技能岗位提供临时外国劳工），对比了获得签证的企业与未获签证的企业。
研究结果显示，外国低技能工人和美国本土低技能工人并非直接的替代关系。当企业无法获得H-2B工人时，它们并未雇佣更多的美国人，而是选择了缩减规模，导致收入和投资下降。相反，成功雇佣外国工人的企业实现了产出和投资的增加，且未对美国就业产生负面影响。在某些情况下，获得更多外国劳动力反而提高了美国本土工人的就业水平。
作者得出结论认为，几十年前制定的现行联邦签证上限限制了企业增长，却并未保护本土就业。该研究证明，限制移民劳动力带来的主要后果是企业萎缩而非工作岗位流失，因此增加H-2B签证数量可以在不损害本土劳动力的情况下，提升美国的经济产出和投资。
本次讨论围绕一项关于美国 H-2B 季节性低技能工人签证抽签制度的最新研究展开。研究结果表明，限制外籍劳工并不会增加美国工人的就业机会；相反，企业会选择缩减规模或精简业务，从而导致整体产出下降。
该讨论串强调了政治与经济话语中存在的显著张力：
* **“证据”缺口**：虽然研究表明有关移民“抢走”工作的担忧往往是本末倒置的（因为移民劳动力支持了有利于整体经济的企业增长），但参与者指出，事实很难改变人们的看法。许多人认为，移民辩论更多是由情感、意识形态和身份认同驱动，而非经济数据。
* **系统性担忧**：批评者认为，对外国劳动力的依赖凸显了资本主义的一种结构性问题，即企业优先考虑降低成本而非国内工资增长。另一些人则指出，该研究未考虑到住房短缺、社会融合或临时季节性劳动力与永久移民之间的区别等复杂的外部因素。
* **“排斥事实”的现实**：评论者普遍认为，针对根深蒂固的观念，单纯呈现数据往往是无效的，因为人类倾向于过滤新信息以使其符合已有的世界观。
这篇文章通过手电筒通信的视角，探讨了**编码理论**的基础。 我们的探索始于一种低效的方法，即为每个字母闪烁一次灯光。随后，我们通过以下方式优化了通信： * **频率分析**：为高频字母（如“E”）分配更短的编码以节省时间。 * **摩尔斯电码**：利用点和划进一步缩短信息，但需要“标点”（停顿）来区分字母，这引入了延迟。 * **ASCII**：一种固定长度的方案，它消除了停顿，但增加了消息的总长度。 * **哈夫曼编码**：一种最优压缩方法。它基于字符频率分配前缀码，确保没有任何编码是另一个编码的前缀，从而实现最高效率。 最后，文章简述了**线路编码**（如 NRZ-I 和 4B5B），即处理比特的物理传输，并介绍了**信源编码**（压缩）、**信道编码**（纠错）和**密码编码**（安全）之间的区别。 归根结底，编码理论是一门将信息转化为高效、可靠且安全信号的科学，它是现代计算机和互联网运行的基石。
Hacker News
最新
|
往期
|
评论
|
提问
|
展示
|
招聘
|
提交
登录
编码理论：趣味导论
(
paramrathour.github.io
)
26 点
由
vismit2000
发布
23 小时前
|
隐藏
|
往期
|
收藏
|
1 条评论
帮助
jan_m_savage
14 小时前
[–]
已点赞。看起来不错，我稍后会深入阅读。
回复
准则
|
常见问题
|
列表
|
API
|
安全
|
法律
|
申请 YC
|
联系
搜索：
对不起。
Gary Bernhardt 提出的“函数式核心，命令式外壳”（Functional Core, Imperative Shell）架构通过将业务逻辑（纯粹的、确定性的函数）与副作用繁多的 I/O（命令式外壳）分离开来，从而提升了代码的可测试性。
本文建议将这一概念扩展为“**确定性核心，非确定性外壳**”。虽然函数式纯度是实现确定性的理想方案，但状态机在命令式环境中也能达到同样的可重复行为。确定性意味着在给定相同输入的情况下，系统会产生相同的结果。非确定性的来源——例如网络调用、系统时钟和数据库交互——应被隔离在“外壳”中，由“核心”负责处理逻辑。
对于处理遗留代码库的开发者，作者建议采用“**碎片整理**”的过程。开发者不应追求单一、完美的架构，而应逐步识别并隔离现有代码中隐藏的确定性逻辑片段（如状态机）。通过将这些确定性片段归拢在一起，开发者可以缩小“难以测试”的范围。即使是在混乱的系统中，将这些确定性核心显现出来，也能使软件更易于测试、修改和维护，从而随着时间的推移逐步提高可靠性。
对不起。
提供的文本探讨了为什么反向传播必须在神经网络中向后而非向前移动，尽管链式法则在理论上允许两者皆可。 前向传播方法的核心问题在于计算效率低下。若要计算损失函数 $f$ 相对于某个权重 $\theta_i$ 的梯度，必须考虑网络中的每一条路径。前向传播要求为每个权重分别传播单独的导数，这会导致冗余计算，并随着网络规模的扩大，运算量呈指数级或二次方级爆炸。 相比之下，反向传播将该计算视为一个“信用分配”问题。通过向后传递导数，每个节点从其下游邻居处收集局部信息，从而能够利用多元链式法则计算其对最终梯度的贡献。这种反向消息传递有效地复用了已计算的偏导数供所有上游权重使用，将复杂度降低到相对于节点数量的线性时间。归根结底，反向传播是在有向无环图上应用链式法则的最优方式，它将原本计算上不可行的前向传播方法转化为一种高效且可扩展的算法。
这个 Hacker News 讨论帖探讨了神经网络中反向模式自动微分（反向传播）的效率问题。
共识认为，反向传播之所以高效，是因为它优化了矩阵乘法的顺序。由于神经网络通常有许多输入（权重）但只有一个输出（损失），因此通过反向模式计算梯度的成本远低于前向模式（前向模式的成本随输入数量增加而增加）。多位评论者指出，反向传播实际上是自动微分的一种应用，它利用了中间结果的记忆化（memoization）。
然而，讨论中也提出了一些技术细节：
* **最优性**：虽然反向模式很高效，但它并不总是严格意义上的最优；在复杂图结构上获取梯度的最优顺序实际上是一个 NP 难问题。
* **术语**：讨论强调了不同科学领域中术语使用不一致的问题。
* **类比**：评论者将其与光线追踪进行了类比，在光线追踪中，“反向”遍历更受青睐，因为其计算成本低于从可能永远无法到达视口的光源计算路径。
最终，用户认为，虽然反向传播常被赋予不必要的“神秘感”，但它本质上是标准算法微分的一种实用实现，针对高维梯度下降进行了优化。
研究人员开源了 **DAPO**（解耦裁剪与动态采样策略优化），这是一种用于大规模大语言模型（LLM）训练的先进强化学习算法。DAPO 基于 `verl` 框架构建，通过稳定的奖励信号和动态采样来平衡探索与利用，从而提升了推理性能。
主要亮点包括：
* **性能：** `DAPO-Qwen-32B` 模型在 AIME 2024 基准测试中达到了 50% 的准确率，在训练步数仅为 DeepSeek-R1-Zero-Qwen-32B 一半的情况下，性能超越了后者。
* **开源资源：** 该项目提供了完整的训练代码、"DAPO-Math-17k" 数据集、Weights & Biases 训练记录以及模型权重。
* **易用性：** 发布内容包含详尽的文档、基于 Conda 的环境设置，以及使用 vLLM 和 Ray Serve 的部署脚本。
研究人员希望通过提供这些基础设施，促进可扩展强化学习的普及，使社区能够复现并构建高性能的推理模型。感兴趣的用户可访问代码仓库获取复现脚本和评估工具。
对不起。
作者通过分析 GitHub 上历年的合并请求（Pull Request）标题，探究某些词汇是否已演变为“大语言模型惯用语”（LLMisms），即被 AI 模型过度偏好的术语。以“spine”一词为例，作者观察到其 2026 年的使用量较 2025 年激增了 20 倍，即便在剔除 GitHub 整体增长因素后，这一增长依然显著。
作者探讨了 GPT-5.5 等特定模型或 Claude、Cursor 等工具是否为诱因，但该趋势似乎呈现普遍性，而非局限于特定模型。分析还涵盖了其他词汇：虽然“ladder”一词的增长被归因为自动依赖项更新，但“gate”、“lane”、“truth”和“seam”等词的频率也显著上升。这表明，大语言模型已形成独特的语言习惯，并渗透到了现代软件工程文档中。作者提供了一个用于深入探索的工具，并指出尽管大语言模型容易出现此类模式，但识别特定模型的“指纹”仍是一项复杂且持续的挑战。
抱歉。