凌晨两点，风扇声里开始的本地大模型实验
那晚办公室只剩一盏台灯，窗外雨水敲着铁皮棚，电脑风扇像一台小型鼓风机。我刚帮朋友排查完“Claude怎么用”和“Claude免费使用”的资料翻译问题，他忽然问：如果网络不稳定，能不能把一个 AI 放进自己的电脑里？这个问题很朴素，也很现实。本地大模型不神秘，它解决的不是“比云端更聪明”，而是“断网时仍能写、能问、能改代码”。
先说硬件底线：8GB 内存能跑 7B 量化模型，但会慢；16GB 内存更舒服；如果有 6GB 以上显存，体验会明显提升。我在一台 Windows 11、32GB 内存、RTX 3060 12GB 的机器上测试，qwen2.5:7b 首字响应约 1.8 秒，生成速度约 38 tokens/s；同机 CPU 跑则降到约 7 tokens/s。测量方法很简单：用同一个 300 字中文总结提示词，重复三次取平均。
Ollama教程：用命令行最快跑起来
如果你喜欢少折腾，Ollama 是最直接的入口。搜索“Ollama下载”，安装 Windows 或 macOS 版本；Linux 用户可用官方安装脚本。安装后打开终端，先确认服务是否可用：
ollama --version
接着拉取一个中文表现稳定、体积适中的模型：
ollama pull qwen2.5:7b
下载完成后运行：
ollama run qwen2.5:7b
第一次建议输入：“请用三句话解释什么是本地大模型，并列出两个适合办公的用途。”如果能连续返回中文答案，基础部署就完成了。常见冲突在端口 11434，可用下面命令检查：
curl http://localhost:11434/api/tags
若返回模型列表，说明 Ollama API 正常。若提示连接失败，通常是服务没启动；Windows 可在任务栏托盘重启 Ollama，Linux 可执行 systemctl status ollama 查看状态。想换模型，可试 llama3.1:8b、gemma2:9b，但中文办公我更常用 qwen 系列。
LM Studio怎么用：给不爱命令行的人一扇窗
LM Studio 更像一个本地 AI 收音机：下载、搜索模型、点一下加载，就能聊天。搜索“LM Studio下载”安装后，进入 Models 页面，建议先找 GGUF 格式的 Q4_K_M 量化模型，例如 Qwen2.5 7B Instruct GGUF。为什么不是参数越大越好？因为 14B 模型在普通笔记本上可能每秒只有 3 到 5 tokens，聊天会像等一封迟到的信。
操作顺序很固定：先下载模型，再到 Chat 页面选择模型，设置 Context Length 为 4096 或 8192；GPU Offload 可从 20 layers 起试，显存爆了就降。然后打开 Local Server，默认地址通常是 http://localhost:1234/v1。如果你要让代码编辑器或脚本调用它，配置可写成 OpenAI 兼容格式，API Key 随便填一个本地占位值即可。
我常用一个小测试判断模型是否适合办公：让它把一段 500 字会议纪要整理成“结论、风险、下一步”。如果它能保持事实、不乱编人名和日期，就适合做日常草稿；如果开始脑补，就降低温度到 0.3，再试一次。本地模型的边界也要诚实承认：它不适合替代最新联网搜索，也不能替你完成 Claude注册方法这类实时流程核验；但它很适合隐私文本改写、离线摘要、代码解释和固定格式生成。
如何验证已经部署成功
最后给你一张安静的检查清单：Ollama 执行 curl http://localhost:11434/api/tags 能看到模型名；LM Studio 打开 Local Server 后访问本地端口不报错；输入同一段中文任务，首字响应在 1 到 5 秒内，连续生成不中断；断开网络后仍可继续对话。做到这四点，你的本地 AI 就真的住进电脑了。
如果你后续还想把本地模型接入写作、表格或浏览器工作流，免费官方方案和手动配置已经足够开始；也可以把睿盈工具的相关整理页作为辅助入口之一参考：https://wizzegroup.com。技术有时像深夜电台，不一定替我们决定方向，却能在安静处给出一束可用的光。