## 零收入的教训:一个单打独斗者的警醒 在构建了一个技术上完美的企业邮箱查找工具FindForce之后,作者面临了一个严峻的现实:零客户和零收入。这不是技术上的失败,而是市场验证上的失败。他陷入了“无竞争”的陷阱,认为缺乏竞争对手意味着机会,而实际上这表明缺乏需求。 他作为站点可靠性工程师(SRE)的背景导致他优先构建强大的基础设施,*先于*验证核心问题,这是工程师常犯的错误。他意识到,在证明需求之前就为规模化而构建是徒劳的。 一篇Reddit上的病毒式帖子强调了一个关键的细微差别:对于资源有限的单打独斗者来说,拥挤的、*不完美*的市场比一片蓝海更有利。成功需要经过验证的需求,而不是创造一个新的类别。 现在,作者正在转变他的策略:优先考虑分发*先于*产品开发,通过一个免费的目录聚合器(awesome-directories.com)来实现,专注于不懈的客户发现,并始终首先提供价值。他的框架强调验证竞争,在编码*之前*与客户交谈,以及评估可用资源。关键要点?竞争验证了需求,对于单打独斗者来说,通过免费价值来建立受众至关重要。
## Perplexity 在万亿参数模型推理方面的进展
Perplexity 开发了新的内核,以高效运行大型混合专家 (MoE) 模型,例如 Kimi-K2 (1T 参数)。这类模型由于其庞大的规模,即使对于强大的 GPU 来说也构成挑战,需要将计算分布到多个节点上。
他们的研究重点是优化至关重要的“分发”和“组合”内核——负责将 token 路由到专家并重新组合结果,在 NVIDIA ConnectX-7 InfiniBand 以及关键的 AWS Elastic Fabric Adapter (EFA) 上实现了最先进的延迟。 之前的解决方案难以克服 EFA 的限制,但 Perplexity 的内核利用混合 CPU-GPU 架构和优化的数据传输,实现了在 AWS 上可行的万亿参数模型部署。
关键改进包括批量数据传输、专门的代理实现,以及利用 RDMA 和 NVLink 进行节点内通信。 基准测试表明,在 ConnectX-7 上,性能优于现有的 DeepEP 解决方案;在 EFA 上,性能优于 UCCL-EP。 这使得 Perplexity 能够成功地在 AWS 上提供 DeepSeek-V3 (671B) 和 Kimi-K2 等模型,证明了其方法的扩展性和实用性。 代码可在 [GitHub](https://github.com/) 上获取,完整的研究论文可在 [arXiv](https://arxiv.org/) 上获取。