来自 Redis 的创建者;使用 ds4 在本地运行大语言模型
From the creator of Redis; run LLM locally with ds4

原始链接: https://dwarfstar.sh/

DS4 · 本地前沿推理 DwarfStar 4 是一款面向高内存 Mac、CUDA 和 ROCm 机器的精简 C 推理引擎。它支持 DeepSeek V4 和 V4.1 Flash、GLM 5.x 以及 Qwen3.8 Flash Next,并在一个技术栈中集成文本与视觉模型、本地 API、CLI 和原生智能体。 支持:DEEPSEEK V4 / V4.1 + GLM 5.x + QWEN3.8 · MIT 许可证 · C / METAL / CUDA / ROCM · QWEN 支持 64GB

Hacker News 上关于 **ds4(DwarfStar)**的讨论。DwarfStar 是 Redis 创始人 antirez 开发的本地大语言模型运行器。ds4 并不支持所有模型和平台,而是针对特定硬件精选并优化一组模型,重点关注运行速度、可靠的工具/函数调用、代理式编程、长上下文以及高效的 KV 缓存复用。 用户称 ds4 在高端 Apple Silicon 芯片上运行流畅,并表示量化模型的效果很好,同时希望加强 对 Intel 和 AMD 平台的支持。 评论还提到了社区扩展:**ds4go** 通过共享库和 Go 绑定对外提供 ds4 功能;**Xenolith** 则面向 Intel Xe-LP 系统上的小型模型。有用户称,在配备 iGPU 的 Intel Ultra 7 255H 上,生成速度约为每秒 22 个 token。 另一场讨论聚焦于 ds4 基本由 AI 生成的 C 语言实现。 supporters 认为 C 语言更熟悉、性能潜力更高,而且大语言模型生成 C 代码的效果更好;批评者则认为,Rust 的内存安全、别名规则保证、SIMD 支持和编译期检查能够避免影响整体正确性的错误。 发布页面也被广泛批评为浮夸的“AI 垃圾内容”,用户更倾向于直接查看 antirez 朴素的 GitHub 仓库和博客。
相关文章

原文

DS4 · LOCAL FRONTIER INFERENCE

DwarfStar 4 is a narrow C inference engine for high-memory Mac, CUDA and ROCm machines. It supports DeepSeek V4 and V4.1 Flash, GLM 5.x and Qwen3.8 Flash Next, with text and vision models, local APIs, a CLI and a native agent in one stack.

SUPPORTED: DEEPSEEK V4 / V4.1 + GLM 5.x + QWEN3.8 · MIT LICENSE · C / METAL / CUDA / ROCM · QWEN ON 64GB

联系我们 contact @ memedata.com