虫鱼的AI万花筒本地运行开源大模型
Ollama、LM Studio 加 GGUF 模型——不用云端账号、不用付费 API，在自己电脑上跑一个属于自己的大模型。
为什么要本地跑大模型
云端大模型用起来方便，但有几个绕不开的代价：每月订阅费、对话内容会上传到服务商、敏感数据不敢输入。开源大模型的权重可以下载到本地，模型完全在你自己的机器上运行，文本不离开电脑，断网也能用。这对开发测试、研究复现、或者"不想让任何第三方看到我的输入"的场景特别合适。本地跑的代价是硬件要求和速度慢一些。
两种最省事的工具
Ollama 是命令行工具，安装后在终端输入 ollama run qwen2:7b 就能直接对话，支持 macOS、Linux、Windows。它也提供了兼容 OpenAI 协议的本地 API（默认监听 11434 端口），让本地模型能直接接到现有应用里。LM Studio 是图形界面，更像"大模型版 QQ"，支持搜索、下载、对话、参数调整一站式完成，适合完全不想碰命令行的用户。两者底层都依赖相同的 GGUF 格式模型文件。
GGUF 是什么
GGUF 是目前最主流的本地模型打包格式，由 llama.cpp 项目定义。原始模型（PyTorch 权重）动辄几十 GB，GGUF 通过量化（用更少的比特表示每个数字）把模型压缩到 4 GB 到 8 GB，同时尽量保留效果。文件名里的 Q4_K_M、Q5_K_M、Q8_0 表示不同精度：数字越小、文件越小、速度越快，但回答质量也会略有下降。普通笔记本选 Q4 量化是平衡点。
硬件门槛与现实期待
跑 7B 参数模型至少需要 8 GB 显存或统一内存（M 系列的 Mac 直接用系统内存），16 GB 才能跑得流畅。13B 模型建议 16 GB 显存起步。纯 CPU 也能跑，但速度大约是 GPU 的 1/10 到 1/20，回答一句话要等十几秒。Mac 的 Apple Silicon 因为内存带宽高，性价比反而比很多 Windows 独显本好。Windows + NVIDIA 独显需要先装 CUDA 驱动，第一次折腾要预留一两个小时。