pnpm 12 现已发布稳定版,采用 Rust 完成了全面重写。它完全兼容 pnpm 11 的命令、标志和锁文件格式,确保了平滑过渡。虽然主要侧重于重写,但也带来了显著的优化和新功能。 **主要变更:** * **Git 依赖:** 现在统一规范化为 HTTPS URL 以提高一致性;SSH 重写通过标准 Git 配置处理。 * **循环依赖:** 对等依赖(peer)解析现在更加规范,速度提升 2–3 倍,从而生成更小、更具确定性的锁文件。 * **工作区验证:** `pnpm-workspace.yaml` 中的未知设置现在会以警告或错误的形式报告,以防止配置拼写错误。 * **性能:** 在 Linux 上,`auto` 模式现在优先使用硬链接而非克隆,以实现更快的物化。 * **严格性:** `engineStrict` 现在即使在可选依赖的子树中也能正确强制执行约束。 **新功能:** * **项目感知的全局二进制文件:** 全局工具(Node、Bun、Deno)现在会使用当前活跃项目所锁定的版本。 * **内置包管理器:** pnpm 现在可以根据需要按需配置并运行 npm、Yarn 和 Bun。 * **注册表修订:** 允许在不更改版本号的情况下,通过 SHA-512 摘要对已发布的包进行补丁更新。 * **其他改进:** 包括批量暂存发布、`audit.ignorePrune` 以及实验性的远程副作用缓存。
本摘要概述了 **Linum v3** 数据流水线的演进过程,重点介绍了从脆弱的手动启发式方法向高性能、模型驱动的筛选机制的转变。
作者强调,模型的质量从根本上取决于其训练数据;高质量数据能让模型高效学习,而低质量数据只会浪费算力。其方法经历了三个阶段:
1. **2024 年(启发式方法):** 依赖基于 CPU 的计算机视觉(如 PySceneDetect、Haar 级联分类器)和 H.264 运动矢量。这种方法成本低廉,但过于脆弱、难以解释,且缺乏处理复杂视频概念所需的精度。
2. **2025 年初(微调大模型):** 摒弃人工规则,转而使用经过监督微调(SFT)的视觉语言模型(如 Qwen-2-VL)。通过利用数千个 GPU,他们高效处理了数十亿帧数据,取得了显著更好的效果。
3. **2025 年末(RLVR):** 采用带有可验证奖励的强化学习(RLVR)来训练美学评分器。与标准 SFT 相比,这种“手术式”的方法能够更精细地控制数据质量。
最终,Linum 流水线将数十亿个样本精炼为高质量数据集。其核心经验是:**数据筛选是提升模型性能最关键的杠杆。** 应避免使用“廉价”的启发式方法,并投入资源进行高质量、迭代式的模型驱动筛选,以确保模型有效学习。