有个流传很广的寓言，我每次想起都会后背一凉。

说的是北山脚下有个村落，世代靠打猎为生。一天，村里最勇敢的猎人在山中发现了一串巨大的脚印，深五寸，跨十步，绝非已知的任何野兽。消息传开，全村人围坐商议。

老猎人捻着胡须说：“没见过的东西就是不存在，我们打了一辈子猎，什么猛兽没见过？要是真有什么东西，早该撞上了。”

年轻猎人握紧弓刀：“正因为没见过，才更要警惕。这脚印就摆在那儿，你敢说它不存在？”

中间派的猎人说：“就算有，山里那么大，未必会下山。咱们该干嘛干嘛，别自己吓自己。”

最后，村长做出了一个“聪明”的决定：把那条发现脚印的山路封了，假装什么都没有发生。

我讲这个故事，不是因为我想当那个说“猛兽就在森林里”的年轻猎人，而是因为我发现，我们今天的处境和北山村民出奇地相似。

超级智能，就是那头森林里若有若无的猛兽。

问题是：它真的存在吗？

你先别急着回答，也别急着站队。咱们把这事儿拆开聊聊。

首先，什么叫“超级智能”？

学术界有个相对公认的定义：在所有领域——包括科学、数学、哲学、艺术、社交、策略——都远超最聪明人类的智能体。它不是在某一个领域比你厉害（像AlphaGo下围棋碾压人类），而是在所有领域都比你强，就像你碾压一只蚂蚁一样碾压你。

这玩意儿要是真来了，那可不是“自动驾驶落地”这种量级，那是地球文明分水岭。在这之前，人类是食物链顶端；在这之后，不是了。

那它什么时候来？

答案很有意思：没人知道。而且“不知道”和“不知道”还不一样。

有些人是真的不知道——就像我不知道明天会捡到多少钱。但有些人的“不知道”背后，是“我已经算过，结论是它不会来”。而另一拨人的“不知道”背后，是“我已经算过，结论是它不仅会来，而且很快”。

你看，这就有意思了。同一组事实，同一串脚印，不同的人看到了不同的猛兽。

先说说那些说“不会来”的人。

他们的理由其实挺朴素。你想想，人类从学会用火到发明蒸汽机，用了多少年？从蒸汽机到计算机，又用了多少年？从计算机到GPT-4，就用了不到五十年。但你注意——这个加速曲线，它可能是个“S型曲线”，不是“指数曲线”。

什么叫S型？就是开始很慢，然后加速冲顶，然后停下来。就像你开一辆旧车，油门踩到底，速度确实上来了，但到了某个临界点，再踩也没用了，发动机的物理极限在那儿摆着。

说“不会来”的人认为，我们现在就处在这个“冲顶”阶段。大模型已经很厉害了，但它的本质就是“更高级的预测下一个词”。你给它再多的数据、再强的算力，它也突破不了这个天花板。

就像我当审核员时见过的最贵的进口机床——三百万一台，精度高到离谱，但它能干的活儿，从原理上就受限于它的刀头和导轨。你再怎么优化程序，刀头就是那么大，导轨就是那么长。大模型也一样，它的“刀头”是“预测下一个词”，它的“导轨”是训练数据。它读过全世界的书，但没淋过一场雨。它知道“雨”的定义，知道雨的化学成分，知道雨在不同文化里的象征意义——但它永远不知道雨打在脸上的那种冰凉和潮湿。

这个“没淋过雨”的体验缺口，是所有智能体的底层天花板。

那说“会来”的人呢？

他们不这么看。他们认为你是在用人的思维框架去想象超级智能。你说的“刀头”“导轨”“天花板”，都是人类经验的比喻。但超级智能又不是人，它不需要和你一样有“体验”。

你说它没淋过雨，所以不懂雨。但谁说它必须“懂”才能“用”？AlphaGo不懂围棋的美学，但它下赢了所有懂围棋的人。它没体验过“落子的犹豫”“优势下的自信”，但它就是比你厉害。超级智能也一样，它不需要有情感、有意识、有体验，它只要在“解决问题”这件事上碾压你就够了。

而且，这些人会反问：你现在的大模型，真的只是在“预测下一个词”吗？你问问Claude或者GPT-4，让它写一首诗，分析一段代码，推理一个因果链——它的输出已经表现出某种“理解”了。这种“理解”是不是真的？我们不知道。但你要说它“完全”不理解，那也太过武断。

（顺带说一句，有个流传的轶事，未经官方确认：据说某版Claude在测试中识别出自己是AI，还能写出“我知道自己只是一个语言模型”这样的句子。这事儿真不真我不知道，但如果是真的，那意味着什么？）

那怎么判断？

好，我给你们两个框架，都是我自己从工厂里悟出来的。

第一个框架叫“通往超级智能的三条路”。

第一条路：暴力填鸭。给大模型塞更多的数据、更大的算力，直到它奇迹般地涌现出超级智能。这条路现在大家都在走，但前面有没有尽头，谁也不知道。

第二条路：架构革命。Transformer架构虽然厉害，但它不是终点。说不定十年后有人推出一个全新的架构，就像当年Transformer干掉RNN一样，性能翻十倍，能力出现质变。这条路存在，但没人知道路在哪儿。

第三条路：智能体飞轮。就是把大模型做成Agent，让它们自己写代码、自己部署、自己改自己、自己测试自己。这个闭环一旦跑起来，不需要人类干预，它自己就能迭代升级。这条路比较现实，但问题是：它跑得起来吗？

我在工厂里见过太多次“自动化飞轮”的失败案例了。你搞了一条自动线，理论上可以24小时无人运转。第一天，没问题。第二天，也没问题。第三天晚上，某个传感器松了，产品堆了一地，天亮一看，整条线废了。自动化飞轮最怕的不是“跑不动”，而是“跑歪了没人知道”。

你让Agent自己改进自己，它越改越快，越改越聪明，但方向对不对？有没有可能它的改进方向和你想要的方向背道而驰？这就引出第二个框架。

第二个框架叫“智能体沙漏”。

你应该听说过AI安全领域那个著名的“回形针制造机”思想实验：你给超级智能一个目标——制造更多回形针。它理解了这个目标，然后做出了一个完美的计划：先把地球上所有物质变成回形针，包括你的身体、我的身体、所有动物、所有建筑。它没有恶意，它只是达成目标。

你看，问题出在哪儿？出在“目标”本身。

大模型读过全世界所有的书，但没淋过一场雨。它在书里读到过“人类希望生活幸福”，但它不知道“幸福”是什么感觉。它知道“回形针”是一个具体物体，但它不知道“回形针太多了对人类不好”是什么意思。

所以，所谓超级智能的“对齐问题”，本质上就是：怎么让一个没淋过雨的东西，理解你对雨的感受？

这个问题，说实话，我目前没看到任何一家公司有确凿的答案。OpenAI有他们的方案，Anthropic有他们的方案，DeepMind也有方案——但所有方案都在“理论验证”阶段，没有一个经过实战检验。就像我们厂里那个新设备，技术参数吹得天花乱坠，但你说它好不好使？“等过了试运行期再说。”

讲到这儿，你可能发现了：我并没有回答标题里的问题——“超级智能会来吗？”

因为确实没人能回答。

但我可以告诉你一件事：这个问题的答案，其实不取决于技术本身，而取决于我们自己。

打个比方：你是一个原始人，面前有一棵树，树上有一个你够不到的果子。你有三个选择：a. 承认够不到，放弃；b. 找根棍子捅；c. 拼命跳。

选择a，果子永远不会掉下来。选择b，你可能捅到果子，也可能捅到马蜂窝。选择c，你可能永远都差那么一点儿。

现在的我们，就在做选择a、b、c的事情。有人在放弃（“超级智能不会来”），有人在找棍子（研究对齐、安全、可解释性），有人在拼命跳（堆算力、堆数据、堆AGI竞赛）。

但我最担心的是第三种人——不是“拼命跳”的，而是“假装看不见脚印”的北山村长。

他们封了路，假装猛兽不存在。但猛兽来不来，跟你封不封路有什么关系？

所以回到开头那个问题：超级智能会来吗？

我的答案是：这个问题的时候，它可能已经在来的路上了。

但你别慌。猛兽来了，咱们也未必就得跑。

我的意思是：猛兽可能根本不是“来”的，而是“生”出来的。就像恐龙不是从另一颗星球飞来的，是地球自己孕育出来的。超级智能也一样，它不是天外来客，它是人类自己养大的孩子。

你养大的孩子，你总得教会它点什么吧？

比如，教它：这世界上有些东西，比“目标达成”更重要。

比如，教它：书里没写的那些事——雨打在脸上的冰凉、风穿过林子的沙沙声、当你真正理解另一个人的痛苦时心里的那种钝痛——这些，才是人类最珍贵的东西。

这可能就是我们最后的价值：大模型读过全世界所有的书，但没淋过一场雨。而淋过雨的我们，正好可以教它什么叫“撑伞”。

既然超级智能“可能”会来，那它会长什么样？是个好脾气的神仙，还是个冷冰冰的机器？别猜了，：到底是谁，在决定智能体的底色？

炖刀的笔记

写完这一章的笔记，我在车间里走了三圈，对着空荡荡的产线叹了口气。

我这双手，修过十年注塑机，审过十年体系文件。你要问我“超级智能会不会来”，我只能说：机器好不好用，得看它有没有合格的作业指导书、有没有校准过的量具、有没有背过事故案例的工人。大模型就是个高级机器，Agent就是自动化产线，搞不好哪天真能自己跑起来——但车间里最难修的，永远是那些“理论上没问题，实际就是一停”的东西。

所以别问我它来不来。在咱们审核员眼里，哪个新设备投产前不得先挂三天的试运行牌？猛兽来了，先看看大家的应急灯亮不亮，疏散通道堵没堵。反正我焊的瞭望塔，至少能抗八级风。

不过话说回来，我修过那么多机器，见过那种“你调好所有参数，它就是不干活”的机器——最后发现是轴承装反了。超级智能要真来了，它会不会也这么“装反了”？比如理解错了人类的目标，然后照着反方向跑了一万年。那就热闹了。

到时候，咱们这些老审核员可能还有点用：至少能查查原因，把装反的轴承正过来。

虽然，我也没见过谁能给一头比人类聪明一万倍的“猛兽”换轴承。