从本地AI工具说起

虽然我对铺天盖地的AI内容感到厌倦，但这并不代表我抵制人工智能。相反，我在工作流中合理引入AI工具，并从中获得了不少帮助。

像ChatGPT、Perplexity这类主流大模型虽然提供免费套餐，但背后往往伴随着用户数据的采集。“如果你不为产品付费，那么你自己就是产品”——这句老话在AI生态中依然适用。

正因如此，我热衷于探索本地运行的AI方案，并花了不少时间尝试能在普通电脑上运行的大语言模型。

最近，我发现了Jan AI——一款界面精美、真正实用的桌面应用，完全在本地硬件上运行。我甚至一度想用它取代Ollama和llama.cpp，但最终改变了主意。为什么？后面我会详细说明。先来认识一下Jan AI。

Jan AI是什么？

Jan是一款免费开源的桌面应用，让你可以在自己的电脑上直接运行各种大语言模型。你可以把它看作一个自托管的、离线可用的ChatGPT——模型跑在你的CPU或GPU上，数据永远不离开你的设备。

该项目由Jan.ai公司开发，源代码遵循AGPL-3.0协议托管在GitHub上。底层基于llama.cpp构建，这意味着即使没有独立显卡，也能高效运行量化后的GGUF模型。

特别值得一提的是，Jan的桌面应用采用Tauri框架而非Electron JS开发，这让它在性能上更胜一筹，同时也更省内存。

不过需要提醒的是：运行本地大模型，你仍然需要足够的内存。

Jan支持Linux、macOS和Windows。我是在Linux机器上测试的。

系统要求

在本地运行大模型，硬件配置不能含糊。以下是实际体验中的经验：

• 8GB内存：勉强能运行7B参数、4-bit量化（Q4_K_M）的模型。如果同时打开其他应用，会感到明显卡顿。
• 16GB内存：最佳选择。可以流畅运行7B模型，并有能力尝试13B模型。
• GPU加速：可选但效果显著。Jan支持NVIDIA（CUDA）、AMD（ROCm）和Intel Arc。如果没有兼容的GPU，CPU模式也可用，但速度会慢很多。
• 磁盘空间：模型文件大小从约4GB（7B，Q4量化）到8GB以上（13B）。建议按需下载。

我使用的是一台16GB内存、无独立显卡的笔记本。运行7B模型时，响应速度尚可接受。

在Linux上安装Jan AI

Jan提供多种安装格式，包括.deb和AppImage。对于大多数Linux用户，我推荐使用AppImage——这是一个自包含文件，几乎可以在任何发行版上运行，无需安装系统包或申请root权限，也不存在依赖地狱问题。

下载地址：Jan AI GitHub发布页

安装细节不再赘述，如果你需要帮助，可以参考如何在Linux上使用AppImage的指南。

首次启动Jan AI，你会看到类似下图的界面：

下载模型并开始使用

刚安装好的Jan就像一个空壳，需要你注入“大脑”——模型。点击左侧边栏的Hub，进入内置模型库，这里列出了众多开源模型，一键即可下载。

模型名称中充满了类似Q4_K_M或IQ3_XS的字母数字组合。在推荐具体模型之前，先为你解释一下这些量化标记的含义——我当初也被它们搞晕过很久。

量化标记解密：Q4_K_M到底是什么？

每个模型名称都携带一个量化标签。量化是将模型原始的完整精度权重压缩，以适应消费级硬件。以下是实用解读：

• Q4： 4-bit量化，最常见选择。7B模型大约4GB大小。速度快、省内存，日常任务质量有保障。
• Q8： 8-bit量化，接近完整精度，但需要约两倍内存。如果你有32GB以上内存，值得尝试。
• K_M： 特定压缩方法（K-quants的中等变体）。通常在Q4家族中兼顾速度和质量。
• XS： 超强压缩，文件体积比标准Q4_K_S略小。

经验建议：8~16GB内存，选Q4_K_M；32GB以上，试试Q8_0，输出会更清晰。

我测试的三款模型

我的测试机器是一台AMD笔记本，仅集成显卡。由于启用ROCm（AMD的CUDA对应方案）需要25~30GB磁盘空间且配置繁琐，我最终使用CPU模式运行。ROCm能让软件（如Jan AI、PyTorch、llama.cpp）调用AMD Radeon GPU进行大规模矩阵运算，没有它，就只能依赖CPU，速度明显变慢。

我选择了三款覆盖不同场景的模型，并对每个模型问了同一个问题：“你能做什么？”

Gemma 4

说实话，性能并不理想——每秒只有5个Token。

（因原文截断，后续模型测试及回归Ollama的原因无法完整展示。总结而言，Jan AI虽然界面友好、安装简便，但在性能（尤其是非GPU场景）、模型灵活性方面与Ollama存在差距，因此我最终选择回到Ollama。）

---

关注微信号：智享开源 ，及时了解更新信息。

原文链接：https://feed.itsfoss.com/link/24361/17352583/jan-ai

---

请支持IMCN发展！

谁在捐赠

微信捐赠	支付宝捐赠

扫码关注公众号：智享开源