AI对话模型已经可以在手机上本地运行？考验手机内存的时候到了… – 蓝点网
早前蓝点网介绍了 MLC 团队推出的对话 WebLLM (MLC LLM)，这个 AI 对话模型没有服务器支持，模型在网页上调用 WebGPU API 即使用你的已经运行本机 GPU 提供算力支持，一切数据都是可手考验离线的无需担心你的对话内容泄露。
现在该团队将 MLC LLM 移植到了手机上，机上还开发了 iOS Demo 应用，本地也就是手机说你可以在手机上运行大型语言模型，完全离线运行，内存不论是蓝点模型还是数据都在本地。
好消息是测试显示在 iPhone 14 Pro Max 上是可以正常运行的，速度略微有些慢但还是模型能接受的地步，坏消息是已经运行如果手机内存比较小的话会崩溃，因为模型运行的可手考验时候，模型数据会被塞到内存里，机上这会让手机内存瞬间被塞满。本地
在 iPhone 12 Pro 上测试就有些压力了，基本上说内存起步需要 6GB，这么来看安卓机可能更有优势，毕竟现在新的安卓机内存都非常大。
除了 iOS 版外，MLC 团队还推出了 Windows/Linux/Mac 的 CLI 版，即命令行版本，可以在终端里发起询问并获得答案，相对来说在 PC 上使用压力就小一些了，毕竟内存稍微大点。
等等… 我是不是还没提 GPU 问题？是的，内存并非关键，因为无论是 iPhone 还是安卓还是 PC 都必须支持 GPU 加速，手机上还好，在 PC 上用户可能需要更新驱动程序，例如 Vulkan 驱动程序。
有兴趣的用户可以试试这个 AI 模型，蓝点网测试感觉还可以，中文支持也挺不错的。iOS Demo 程序的话目前在 TF，限额 9000 人，满了就没法加入了。有 iOS 开发经验的开发者可以自行编译安装。
iOS Demo TF 版：https://testflight.apple.com/join/57zd7oxa
WebLLM (网页版)：https://mlc.ai/web-llm/
Windows/Linux/Mac 需要使用 Conda 管理，具体请看：https://mlc.ai/mlc-llm/
相关文章：
- 《荒野大镖客2》或将加入吃鸡模式 10月底发售
- 火星上古老湖泊的确认给毅力号火星车的土壤和岩石样本保留生命痕迹带来了希望
- 金立手机一年营销费用60亿 娱乐营销拖垮企业？
- 《传奇》开辟商MMORPG新做《Night Crows》支进破千万好圆:仅出售三天
- 《侠客风云传OL》隆冬狂悲，顶级侠客散结令！
- 2019五一青岛景区门票劣惠疑息汇总
- 金士顿颁布收表名列2022年齐渠讲SSD出货量榜尾 占有率达24%
- 天文学家检查奇特的脉动变星白矮星TMTS J17184064+2524314
- Soul App将亮相第二十一届 ChinaJoy ，发布“山海灵·大盛山海”ChinaJoy特别款
- 2019昆明五一往那里玩