本地AI周刊首期：浪潮已至

Mark Do 4 小时前暂无评论阅读 29 次

本地AI周刊首期：浪潮已至

欢迎阅读《本地AI周刊》创刊号。许多It’s FOSS读者对本地AI兴趣浓厚，但又不想让它与常规的FOSS周刊混在一起。于是我们开辟了这片独立空间，专门为那些希望探索AI、尤其是开源AI的朋友们服务。

在这里，我将分享自己在真实硬件上的实验记录、开源模型的最新动态、值得关注的工具，以及不容错过的AI领域要闻。让我们直接进入正题。

本地AI周刊首期：浪潮已至

🧪 实验：在树莓派上运行Hermes

Hermes近期在AI圈内热度飙升，我也忍不住上手试了试。不过我的部署方式有点特别：我把Hermes后端跑在树莓派上，再通过主机的Hermes Desktop远程连接。也就是说，智能体实际运行在树莓派中，而我则在自己的电脑上与之交互。

Hermes Desktop还配备了语音对话功能——如今大多数AI工具都已具备这一能力。语音AI正逐渐成为下一个大风口。Ubuntu 26.10已着手准备原生语音AI支持，Vocalinux等本地工具也已在开发之中。

可以预见，我们距离真正可对话的AI桌面助手已经不远。无论是邮件简报、任务汇报还是智能体控制，这些功能虽然尚处早期，但已经实实在在出现了。

🔍 发现AI工具

最近发现了一个基于Markdown的开源知识库项目，专为个人用户和AI智能体打造。它采用本地优先架构，以Git为后端存储，并内置原生MCP服务器，让商业或本地智能体能够直接读写你的笔记内容。

如果你正在搭建个人Wiki，或者想为编码智能体构建一个跨会话共享的“第二大脑”，这款工具值得一试。目前它仍处于早期开发阶段，有些小bug在所难免。我自己目前用Tolaria管理个人知识库，而这个新项目已经列入了我的周末探索清单。

另一个近期看到的开源AI工具是Cleat。它只需一条命令即可将Claude Code运行在Docker沙箱中，使自主智能体的会话无法触碰宿主机系统。它会共享你的Claude身份验证信息，在容器内编辑项目文件、安装软件包、执行任意命令，但默认情况下不会接触你的SSH密钥、其他项目或机器上的其他内容，除非你主动开放权限。

该项目的发布时间不长，而且我注意到其GitHub仓库过去三周内没有新动态。希望它不会沦为弃坑软件。

📡 开源模型新闻

过去几周，开源模型领域可谓热闹非凡。

7月16日，Moonshot AI发布了Kimi K3。这是一个拥有2.8万亿参数的混合专家模型，上下文窗口达100万token，采用“修改版MIT许可证”发布。它是目前史上最大的开源权重模型，早期基准测试显示其性能已接近闭源前沿模型。要在本地运行它需要相当强悍的硬件，不过更小尺寸的蒸馏版本应该很快就会问世。

几乎同一时期，Thinking Machines Lab发布了Inkling——这家初创公司由前OpenAI CTO Mira Murati创立。Inkling是一个9750亿参数的多模态模型，采用Apache 2.0许可证。选择Apache 2.0意义重大，因为它允许免费商用，且不像某些“修改版MIT”等许可证那样附带使用限制。

这两个模型的规模都太大，目前大多数家用硬件难以承载。但这些发布之所以重要，是因为量化版本和更小的蒸馏版通常会在几周内跟进。即便Ollama很可能优先将它们放入云端计划中，我们仍值得持续关注Ollama的模型库。

🗂 AI术语：量化

你或许见过“量化”这个词。它是指降低模型权重的“数值精度”，从而使模型体积更小、运行更快。全精度模型通常用32位或16位浮点数存储每个值，而量化后的模型则用8位、4位甚至更低精度来存储。模型变小后占用内存更少，速度也更快，但代价是输出质量有所下降。

不妨看看Ollama上任意模型的标签，例如llama3.1的标签页。你会看到类似instruct-q2_K、text-q3_K_S、fp16等名称，这些都是量化版本。文件体积更小，也就意味着运行时需要的内存更少。

⚡ 快捷小技巧

通过Ollama下载模型时，你可以直接指定量化级别。比如不要用ollama pull llama3，而是试试ollama pull llama3:8b-instruct-q4_K_M，这样能获取特定的量化变体。在ollama.com/library上查看你要拉取的模型有哪些可用标签，只需在模型名后加上/tags/即可。