## PyTorch Monarch：一个新的分布式计算框架 PyTorch Monarch 是一个全新的开源框架，旨在简化 PyTorch 的分布式计算。它的目标是提供构建可扩展系统的基础设施基础组件，定位为像 Tinker 这样的托管微调服务的低级替代方案。Meta 通过发布 Monarch 和 RL 框架 TorchForge 作为开源工具，实际上已经使 Tinker 的价值主张商品化。 Monarch 采用单控制器模式，不同于像 Jax 这样专注于多控制器设置的方法。它采用 Python 前端和 Rust 后端构建，利用 Rust 的并发特性来实现性能和鲁棒性。虽然它支持 GPU 加速，但一些讨论集中在其对 CUDA 的依赖以及与 Ray 和 Dask 等探索更广泛硬件支持（包括 RDMA）的替代方案相比的潜在限制。 该项目与 Ray 和 Hadoop 等现有框架进行了比较，Monarch 旨在通过抽象分布式计算的复杂性来提供更精简的体验。它被认为是一个潜在的重要发展，但人们也担心“隐藏”分布式系统的固有复杂性以及潜在的 CUDA 特定依赖性。