手机上离线跑大模型，要准备些什么
这篇聊一个越来越实际的话题：不依赖任何云端接口，只靠一台安卓手机能不能跑大模型、要提前准备哪些东西。相关文档：自带密钥用AI是什么玩法 · 对话记录的备份与换机迁移做法
想在手机上断网聊 AI，核心只有两样东西：一个支持本地推理的客户端，和一份合适的模型文件。客户端这层，Agora 是一个值得先试的开源选择——它内置 llama.cpp 引擎，界面支持中文，安装后不强制注册任何账号。
一、模型文件：认准 GGUF 格式
本地推理生态里最通用的格式是 GGUF，Hugging Face、GitHub 上的开源模型基本都提供现成文件。挑文件时看三个维度：
| 维度 | 经验值 |
|---|---|
| 运存 6 GB 以下 | 3B 以下参数 + 4bit 量化（Q4_0、Q4_K_M），文件约 1~2 GB |
| 运存 8 GB | 4B~7B 的 4bit 量化可以一试，再大容易卡 |
| 量化等级 | Q4 是质量与体积的平衡点；体积明显偏小的极端量化容易答非所问 |
模型文件建议在 WiFi 环境一次下完，文件不完整是导入失败的头号原因。
二、客户端：看它对数据流的处理
本地推理意味着对话不联网，但客户端本身的行为也值得留意：有没有强制账号、会不会默认上报数据、对话记录存在哪。以 Agora 为例，会话存在本机数据库，崩溃报告是先弹窗征询、确认后才会发送；这些细节决定了「离线」是不是真的彻底。
三、心理预期：速度与电耗
手机 CPU 跑推理，速度和电耗都要有预期：回答生成比云端慢、长时间对话耗电明显，插电使用更稳。后台应用开得多会互相抢内存，聊天前清一清后台，体验差距很直接。
四、装好之后
模型导入完成后断网也能对话；想换更聪明的回答，再补一条云端密钥的路即可，两条路线可以在同一个客户端里并存切换。获取安装文件与安装步骤，见 Agora 介绍站的下载页。