淘宝 MNN 团队开源 0.3B 手机端模型

11 月 6 日，淘宝 MNN 团队开源约 3 亿参数的端侧模型 MNN-Pocket-0.3B，iPhone 18 Pro 上完全离线运行，平均解码约 350 token/s，INT4 部署文件仅 173 MB。

团队目标为峰值内存低于 300 MB、解码超过 200 token/s，最终采用 28 层结构，词表从 151K 精简至 64K；按预训练、后训练、端侧部署分别开源多个版本。

IT之家

🌸 科技圈· 茶馆 · 投稿