笔记本上就能跑的 LLM 好使吗？GPT4ALL 体验

是骡子是马，牵出来遛遛

正名

看到这个标题，你可能会觉得是噱头。谁不知道 ChatGPT 模型有 1750 亿以上的参数，别说是在笔记本电脑上跑，就是使用高性能 GPU 的台式机，也无法带得动啊。老老实实调用 API 不好吗？

其实，LLM（大语言模型）有非常宽泛的参数量范围。咱们今天介绍的这个模型 GPT4All 只有 70 亿参数，在 LLM 里面现在算是妥妥的小巧玲珑。不过看这个名字你也能发现，它确实是野心勃勃，照着 ChatGPT 的性能去对标的。GPT4All 基于 Meta 的 LLaMa 模型训练。你可能立即觉得不对，你这跟 GPT 有啥关系？为什么要无端蹭热度？且慢，GPT4All 确实和 ChatGPT 有关 — — 它用来微调的训练数据，正是调用 ChatGPT 产生的大量问答内容。

我怕你对技术细节不感兴趣，因此只用下面这张图来说明 GPT4All 的训练过程。

（图片来源：我让 ChatGPT 自己查了资料后调用 graphviz 画的）

GPT4All 其实就是非常典型的蒸馏（distill）模型 — — 想要模型尽量靠近大模型的性能，又要参数足够少。听起来很贪心，是吧？

据开发者自己说，GPT4All 虽小，却在某些任务类型上可以和 ChatGPT 相媲美。但是，咱们不能只听开发者的一面之辞。还是试试看比较好，你说是吧？

下载

说明一下，目前你可以找到的蒸馏模型，绝不只是 GPT4All 一个。但是对比下来，在相似的宣称能力情况下，GPT4All 对于电脑要求还算是稍微低一些。至少你不需要专业级别的 GPU，或者 60GB 的内存容量。

这是 GPT4All 的 Github 项目页面。GPT4All 推出时间不长，却已经超过 20000 颗星了。