运行自己的本地开源 AI 模型很简单——方法如下

币搜网报道：

>>>>> gd2md-html 警告：生成的源代码中包含内联图像链接，并将图像存储到您的服务器。注意：从 Google 文档导出的 zip 文件中的图像顺序可能与文档中的顺序不同。请检查图像！

—–>

如果你不是开发人员，那么你为什么要在家用电脑上运行开源人工智能模型呢？

事实证明，这其中有很多充分的理由。而且，随着免费开源模型日趋完善，使用简便，硬件要求也极低，现在正是尝试的好时机。

以下是一些开源模型比每月支付 20 美元使用 ChatGPT、Perplexity 或 Google 更优的原因：

• 完全免费，无需订阅费。
• 您的数据保留在您的计算机上。
• 它可离线使用，无需网络连接。
• 您可以针对特定用例训练和定制您的模型，例如创意写作或……任何用途。

入门门槛已经大大降低。现在，有了专门的程序，用户无需费力地自行安装库、依赖项和插件，就能轻松体验人工智能。几乎任何拥有较新电脑的用户都能做到：一台配备 8GB 显存的中端笔记本电脑或台式机就能运行性能惊人的模型，有些模型甚至只需 6GB 或 4GB 显存即可运行。而对于苹果用户来说，任何一款 M 系列芯片（近几年的）都能运行优化后的模型。

该软件是免费的，安装只需几分钟，而最令人畏惧的步骤——选择使用哪个工具——归根结底是一个简单的问题：您更喜欢点击按钮还是输入命令？

LM工作室 对阵 奥拉玛

本地人工智能领域由两个平台主导，它们从截然相反的角度解决问题。

它将所有功能都封装在一个简洁美观的图形界面中。您只需下载应用，浏览内置模型库，点击安装，即可开始聊天。使用体验与 ChatGPT 类似，不同之处在于处理过程在您的硬件上完成。Windows、Mac 和 Linux 用户都能获得同样流畅的使用体验。对于新手来说，这无疑是最佳的入门选择。

它面向经常使用终端的开发者和高级用户。通过命令行安装，只需一条命令即可拉取模型，然后随心所欲地编写脚本或实现自动化。它轻量级、快速，并且能够无缝集成到编程工作流程中。

学习曲线虽然陡峭，但回报是灵活性。这也是高级用户因其多功能性和可定制性而选择的方案。

两款工具都使用相同的底层模型和优化引擎，性能差异可以忽略不计。

设置 LM Studio

访问下载适用于您操作系统的安装程序。文件大小约为 540MB。运行安装程序并按照提示操作。启动应用程序。

提示1：如果它询问您的用户类型，请选择“开发者”。其他类型只是为了简化操作而隐藏了部分选项。

提示 2：它会推荐下载 OSS，即 OpenAI 的开源 AI 模型。但现在请点击“跳过”；有更好、更小巧的模型可以更好地完成任务。

显存：运行本地人工智能的关键

安装完 LM Studio 后，程序即可运行，界面如下所示：

现在，你的LLM程序需要先下载一个模型才能运行。模型功能越强大，所需的资源就越多。

关键资源是显存（VRAM），也就是显卡上的视频内存。逻辑逻辑模型（LLM）在推理过程中会加载到显存中。如果空间不足，性能就会急剧下降，系统不得不使用速度较慢的系统内存。因此，您需要确保为要运行的模型预留足够的显存，以避免这种情况发生。

要了解您的显存容量，您可以打开 Windows 任务管理器（Ctrl+Alt+Del），然后单击 GPU 选项卡，确保您已选择独立显卡而不是 Intel/AMD 处理器上的集成显卡。

您可以在“专用GPU内存”部分看到您拥有的VRAM大小。

在 M 系列 Mac 上，情况就简单多了，因为它们共享内存和显存。你机器上的内存容量就等于你可以访问的显存容量。

要查看，请点击苹果标志，然后点击“关于本机”。看到“内存”了吗？那就是你的显存容量。

您至少需要 8GB 的显存。参数量在 70 亿到 90 亿之间的模型，如果使用 4 位量化进行压缩，既能轻松应对，又能提供强劲的性能。开发者通常会在模型名称中注明是否进行了量化，以此来判断模型是否进行了量化。如果名称中包含 BF、FP 或 GGUF，则表示该模型已进行了量化。数字越小（例如 FP32、FP16、FP8、FP4），模型消耗的资源就越少。

虽然不能完全类比，但你可以把量化想象成屏幕分辨率。你会发现同一幅图像在 8K、4K、1080p 或 720p 分辨率下都能清晰呈现。无论分辨率如何，你都能看清画面，但放大并仔细观察细节后你会发现，4K 图像比 720p 图像包含更多信息，但渲染时也需要更多的内存和资源。

但理想情况下，如果你真的非常认真，那么你应该购买一块配备 24GB 显存的优质游戏显卡。显卡的新旧程度、速度快慢、性能强弱都无关紧要。在人工智能领域，显存才是王道。

一旦你知道可以使用多少显存，就可以通过访问以下链接来确定可以运行哪些模型：或者，您可以先从参数少于 40 亿的小模型开始，然后逐步增加模型大小，直到计算机提示内存不足为止。（稍后会详细介绍这种方法。）

正在下载您的模型

了解硬件的性能极限后，就可以下载模型了。点击左侧边栏的放大镜图标，然后按名称搜索模型。

Qwen 和 DeepSeek 是很好的入门级软件。没错，它们是中国的公司，但如果您担心被监视，大可放心。当您在本地运行 LLM 时，所有数据都不会离开您的计算机，因此您不会被中国、美国政府或任何企业实体监视。

至于病毒防护，我们推荐的所有软件都来自 Hugging Face，该平台会对软件进行即时间谍软件和其他恶意软件的检测。不过，值得一提的是，美国最好的杀毒软件是 Meta 的 Llama，如果您是爱国者，不妨选择它。（我们在最后一部分提供了其他推荐。）

请注意，模型的表现会因训练数据集和用于构建模型的微调技术而异。即便抛开埃隆·马斯克的 Grok 不谈，也不存在真正意义上的无偏模型，因为根本不存在无偏信息。所以，你得根据自己对地缘政治的关注程度来选择。

目前，请同时下载 3B（较小、功能较少的型号）和 7B 版本。如果 7B 版本可以运行，则删除 3B 版本（然后尝试下载并运行 13B 版本，以此类推）。如果 7B 版本无法运行，则删除它并使用 3B 版本。

下载完成后，从“我的模型”部分加载模型。聊天界面随即出现。输入消息。模型会做出回应。恭喜：您正在运行本地人工智能。

为您的模型提供互联网接入

本地模型默认情况下无法浏览网页。它们的设计初衷就是隔离的，因此您需要根据它们的内部知识进行迭代开发。它们可以很好地完成编写短篇故事、回答问题、编写一些代码等任务。但它们不会为您提供最新新闻、告诉您天气情况、检查您的电子邮件或为您安排会议。

修改一下。

MCP 服务器充当模型与外部服务之间的桥梁。想让您的 AI 搜索 Google、查看 GitHub 代码库或读取网站吗？MCP 服务器让这一切成为可能。LM Studio 在 0.3.17 版本中添加了 MCP 支持，可通过“程序”选项卡访问。每个服务器都提供特定的工具——网页搜索、文件访问和 API 调用。

如果您想让模型访问互联网，那么我们的逐步讲解设置过程，包括网络搜索和数据库访问等常用选项。

保存文件后，LM Studio 将自动加载服务器。现在，当您与模型交互时，它可以调用这些工具来获取实时数据。您的本地 AI 瞬间拥有了超能力。

我们推荐的适用于 8GB 系统的型号

从包罗万象的法学硕士课程到专为特定用途（如编程、医学、角色扮演或创意写作）设计的精细化课程，您可从数百种法学硕士课程中选择。

最适合编程：Nemotron 或 DeepSeek 都是不错的选择。它们虽然不会让你惊艳，但在代码生成和调试方面表现出色，并且在编程基准测试中优于大多数其他工具。DeepSeek-Coder-V2 6.7B 是另一个可靠的选择，尤其适用于多语言开发。

最适合学习常识和推理能力Qwen3 8B。该模型具有强大的数学运算能力，能够有效处理复杂查询。其上下文窗口可以容纳更长的文档，而不会丢失连贯性。

最适合创意写作DeepSeek R1 的一些变体，但需要大量的提示符工程。还有一些未经审查的微调版本，例如“abliterated-uncensored-NEO-Imatrix”。OpenAI 的 GPT-OSS，它很适合恐怖游戏；或者据说这对情色作品来说是好事。

最适合用于聊天机器人、角色扮演、互动小说和客户服务Mistral 7B（尤其是 Undi95 DPO Mistral 7B）和 Llama 变体，都具有较大的上下文窗口。MythoMax L2 13B 能够在长时间对话中保持角色特征，并自然地调整语气。对于其他成人角色扮演，也有很多选择。您可以查看一些模型。.

对于 MCP如果你想尝试一些新型号，Jan-v1-4b 和 Pokee Research 7b 都是不错的选择。DeepSeek R1 也是另一个不错的选择。

所有模型都可以直接从 LM Studio 下载，只需搜索它们的名称即可。

请注意，开源语言学习模型（LLM）领域瞬息万变。每周都有新模型发布，每个模型都声称有所改进。您可以在 LM Studio 中查看它们，或者浏览 Hugging Face 上的不同代码库。亲自测试一下各种模型。糟糕的模型很快就会暴露出来，因为它们措辞生硬、模式重复、存在事实错误。优秀的模型则截然不同。它们逻辑清晰，能带给您惊喜。

技术没问题，软件也准备就绪，你的电脑性能可能也足够。剩下的就是试一试了。