开源 AI 聊天机器人 MLC LLM 发布：本地运行无需联网集显电脑、苹果 iPhone 也能用

  IT之家5 月 2 日消息，目前大多数 AI 聊天机器人都需要连接到云端做处理，即使可以本地运行的也配置要求极高。那么是否有轻量化的、无需联网的聊天机器人呢？

  一个名为MLC LLM的全新开源项目已在 GitHub 上线，完全本地运行无需联网，甚至集显老电脑、苹果iPhone手机都能运行。

  MLC LLM 项目介绍称：“MLC LLM 是一种通用解决方案，它允许将任何语言模型本地部署在一组不同的硬件后端和本地应用程序上，除此以外还有一个高效的框架，供每个人逐步优化自己用例的模型性能。一切都在本地运行，无需服务器支持，并通过手机和笔记本电脑上的本地 GPU 加速。我们的使命是让每一个人都能在设备上本地开发、优化和部署 AI 模型。”

  IT之家查询 GitHub 页面发现，这一个项目的开发者来自卡内基梅隆大学的 Catalyst 计划、SAMPL 机器学习研究小组以及华盛顿大学、上海交通大学和 OctoML 等。他们还有一个名为Web LLM的相关项目，该项目可以完全在网络浏览器中运行 AI 聊天机器人。

  此外，ThinkPad X1 Carbon（第 6 代）也测试成功运行MLC LLM，这是一款搭载i7-8550U 处理器的笔记本，没有独立显卡，配有英特尔UHD 620 GPU。MLC LLM 在 PC 平台一定要通过命令行运行，外媒测试表现一般般，回复时间需要将近 30 秒，而且基本上没有连续对话能力，希望能在后续版本中得到改进吧。

  广告声明：文内含有的对外跳转链接（包括不限于超链接、二维码、口令等形式），用于传递更加多信息，节省甄选时间，结果仅供参考，IT之家所有文章均包含本声明。