手机离线跑大模型

坐飞机、挤地铁、流量告急——想让 AI 对话不依赖网络，就得把模型文件直接装进手机。这篇讲在安卓上离线跑大模型的思路：选多大的模型、怎么导入、日常使用注意什么。

离线对话靠什么实现

Agora 内置了 llama.cpp 推理引擎，这是开源社区里跑 GGUF 格式模型的通用方案。GGUF 是目前开源大模型最常见的分发格式，Hugging Face、GitHub 上的开源模型基本都提供 GGUF 版本。模型文件放进手机后，推理全部由 CPU 在本地完成——不联网、不经过任何服务器，这也是「数据留本机」的极致形态。

模型怎么选

按手机运存挑，经验值如下（以实测为准）：

两点提醒：

• 量化等级：Q4 是质量与体积的平衡点；体积明显小于同参数正常值的要留意，极端量化常表现为答非所问、输出乱码。
• 下载完整性：模型文件大，建议 WiFi 一次下完；文件不完整是「导入失败」的头号原因。

导入三步

1. 把 .gguf 文件放到手机存储里任意能访问的位置（下载目录就行）；
2. 打开应用，进设置里的「本地模型」入口，点导入并选中该文件；
3. 等复制与加载完成，回到底部栏选中它即可开聊——之后断网也照常对话。

首次使用记得授予存储权限，否则选文件时可能看不到你放的位置。

日常使用的四个预期

• 速度看硬件：本地推理吃 CPU，模型越大越慢；关掉后台大应用、插电使用会更稳。
• 知识有截止：本地模型不知道今天的新闻，要实时信息得靠云端配置或配合浏览器。
• 耗电是常态：高负载推理本来就费电，这不是故障。
• 闪退先查内存：加载即崩多半是运存不够，换更小或量化更高的模型再试。

入口与延伸

安装包与配置思路都在Agora 安卓客户端说明站，先装好再玩离线模型；不依赖网络的对话玩顺了，回头看看树状分支对话怎么用，把长对话管理也一起上手。