1. 为什么要在 Mac mini M2 上本地运行大模型?
最近几年,大语言模型火得一塌糊涂,但每次用都得联网,把问题发给远方的服务器,总感觉心里不踏实。数据隐私是一方面,有时候网络一卡,或者服务商那边出点小状况,体验就大打折扣。所以,我一直在琢磨怎么把这些聪明的“大脑”请到自己的电脑里来,尤其是像 Mac mini M2 这样性能不错又省电的设备,简直是本地部署的绝佳搭档。
你可能觉得,动辄上百亿参数的模型,没个专业显卡根本跑不动。这话放在一年前完全正确,但现在情况不一样了。一方面,像 DeepSeek-R1 这样的模型,在保持强大能力的同时,对硬件的要求变得更加友好;另一方面,Ollama 这类工具的出现,把模型部署的门槛降到了前所未有的低度。它就像一个专门为本地运行大模型打造的“应用商店”和“运行引擎”,把复杂的依赖、配置都打包好了,你只需要几条简单的命令。
我选择 Mac mini M2(24GB 内存版)来折腾,主要看中它的平衡性。M2芯片的能效比非常出色,日常使用安静又凉快,24GB的统一内存对于运行一个140亿参数的模型来说,是绰绰有余的“豪华配置”。实测下来,DeepSeek-R1:14B 在推理时,内存占用大概在18GB左右,完全在安全范围内,还能留出余量给系统和其他应用。整个过程,从安装到对话,全部在本地完成,数据不出家门,那种掌控感和安全感,是云端服务给不了的。特别适合像我这样,偶尔需要处理一些敏感文档,或者单纯就是想拥有一个永不掉线、随时可用的AI伙伴的技术爱好者。
2. 手把手搞定 Ollama:你的本地模型管家
2.1 安装与启动:五分钟搞定基础环境
Ollama 的安装简单到不可思议,完全不像在部署一个AI基础设施。你不需要去折腾Python环境、CUDA驱动或者各种复杂的深度学习框架。整个过程,就跟安装一个普通的Mac软件没两样。
首先,打开你的浏览器,访问 Ollama 的官方网站。首页上那个大大的下载按钮非常显眼,选择 macOS 版本。下载下来的就是一个标准的 .dmg 安装包。双击打开,把那个可爱的羊驼图标拖到“应用程序”文件夹里,安装就完成了。对,就这么简单,没有下一步下一步的选项,干净利落。
安装好后,我建议你直接从“启动台”里找到 Ollama 并点击运行。第一次运行,它可能会请求一些系统权限,比如辅助功能或者网络权限(用于后续可能的模型更新检查),放心地给它们通过。更常用的方式,其实是直接打开“终端”。你不需要手动去应用程序里点开它,只需要在终端里输入命令 ollama serve,然后回车。这个命令会启动 Ollama 的后台服务。你会看到终端里输出一些日志信息,显示服务正在监听某个端口(默认是11434)。这就说明服务已经跑起来了。
怎么验证它真的在工作呢?有两个小技巧。第一个,保持终端窗口开着,另开一个终端标签页,输入 curl http://localhost:11434。如果返回一个简单的JSON响应,比如 {"status":"success"} 之类的,那就稳了。第二个更直观的方法,打开你的 Safari 或者 Chrome,在地址栏输入 http://127.0.0.1:11434 并访问。如果看到一个简洁的页面,显示着 Ollama 的版本信息,恭喜你,你的本地模型服务器已经准备就绪。这一步是后面所有操作的基础,确保它正常运行再往下走。
2.2 核心操作:拉取、管理和运行模型
Ollama 的核心魅力,就在于它用几条直观的命令,管理了背后极其复杂的模型加载和推理过程。模型从哪里来?Ollama 维护了一个官方的模型库,里面集成了数十个热门的开源模型,DeepSeek-R1 就在其中。
拉取模型是第一步。在终端里,输入命令 ollama pull deepseek-r1:14b,然后回车。这时候,你会看到终端开始刷屏,显示下载进度。这个 deepseek-r1:14b 模型大约有7、8个GB的大小,具体取决于版本。如果你的网络环境不错,下载速度会很快。我实测在千兆宽带下,十分钟左右就搞定了。这里有个细节,Ollama 下载的其实是经过量化处理的模型文件。量化是一种压缩技术,能在几乎不损失精度的情况下,大幅减少模型体积、降低

3万+

被折叠的 条评论
为什么被折叠?



