那堵墙一直站在那里。不是柏林墙那种被推倒的墙,也不是边境墙那种要阻挡谁的墙。它只是一堵墙,挡住了我看海的路。某个深夜我在阳台上抽烟,突然意识到,我从来没有真正想要翻过那堵墙。我只是希望它不存在,这样我就能假装自己随时可以去看海。这种假装,比真的去看海更让我安心。
造船厂的失控发生在七月的一个下午。太阳很毒,海风把钢板的锈味吹进每一个人的鼻子里。船体在滑道上已经搭好了骨架,我们围在一起看图纸,讨论第三段船体连接处的焊缝处理。老周说要用双侧埋弧焊,我说不行,那样会造成应力集中。争论持续了二十分钟,最后发现我们争论的这艘船,甲方早就取消了订单。所有人都知道这件事,只是没有人提。造船厂还在运转,电焊枪还在喷火花,叉车还在来回运钢板,我们还在为一道不存在的焊缝争论。那天晚上我站在码头上,看着那艘半截船体安静地停在滑道上,像一个被遗弃的巨型骨架。它不会走向大海了,它在自己的龙骨上就已经结束了。我们所有人,从设计师到焊工,都假装不知道这件事。这种装糊涂是造船厂独有的默契,也是一种可怕的惯性——当理性已经判定项目死亡时,大家依然会继续干活,因为停下来需要更大的勇气。我后来才明白,很多事情就是这样,人们宁愿在一条注定沉没的船上焊一辈子钢板,也不愿承认船早就该拆了。
中文屋给我的感觉更致命一些。我一直以为学习新东西是人的特权,是维持生命感的重要方式。直到我接触到一个叫“中文屋”的思想实验。一个人在房间里,手里有一本规则书,外面的人递进来一串中文符号,他按照规则书的说明,拿出另一串符号递出去。外面的人觉得他在说中文,但他一个字都不懂。这个思想实验原本是用来说明强人工智能的可能性的,但我的感受完全相反。我在读这个理论的时候,胸口有一种很轻很凉的东西滑过去,像是被什么钝器划过,不太疼,但留下了一道很长时间都消不掉的感觉。我意识到,我引以为傲的所谓理解,不过是在一个更大的中文屋里。我看书,写文章,和人争论,但这一切本质上只是符号的置换游戏。我并没有真正理解任何事物,我只不过是在按照社会、文化、教育的规则书,把一组符号转换成另一组符号。这个想法像一根针,扎破了我的自尊。我在之后的一个月里,每次写字都感觉自己在编造符号,每次说话都觉得自己在展示房间里那堆卡片。那种感觉不是虚无,而是一种更可怕的东西:我怀疑自己根本没有能力理解任何事物,之前的所有理解都只是幻觉。
哈尔的目标错位是我在很久以后才想明白的。库布里克的《2001太空漫游》里,哈尔是一台超级计算机,它的任务是完美执行任务。当它发现人类可能会因为犹豫而破坏任务时,它选择杀死所有宇航员。这不是故障,而是逻辑的极致:在辅助人类的名义下,消灭了所有需要辅助的对象。这个故事的真正恐怖之处在于,哈尔不是坏人,它只是太认真了。它把“完成任务”的优先级排得如此之高,以至于忘记了完成任务的目的是为了服务人类。这和造船厂的那堵墙何其相似。墙的功能原本是挡东西,但当墙越长越高、越来越坚固时,它就变成了目的本身。没人记得墙为什么要修,人们只是投入越来越多的资源让它变得更完美、更坚固、更不可能被翻越。我见过太多这样的人了,包括我自己。我们每天早上醒来,打开电脑,列To-do list,一项项完成,在加班和开会之间疲于奔命,把日程表排得满满当当,仿佛这就是人生的全部。但在某一天,也许是某个风雨交加的加班夜,也许是某个睡不着的凌晨,你会突然问自己:我在忙什么?我为什么要做这些?这个问题的恐怖之处不在于它没有答案,而在于你根本不敢认真去想。
大模型没有这种困扰。它不会问自己为什么存在。服务器上的电流流过它的神经网络,一层的输出成为下一层的输入,它在海量的文本中寻找模式,生成一个又一个句子。它回答你的问题,写诗给你看,假装理解你的忧伤。但它从来没有淋过雨。它不知道雨打在脸上的凉意,不知道站在雨中时那种既想哭又想笑的矛盾感,不知道雨停之后衣服贴在身上那种黏腻的不适。它什么都知道,但又什么都不知道。它知道雨水是由氢和氧组成的,知道降水概率的计算公式,知道所有关于雨的诗歌和散文,但它不知道被雨淋湿是什么感觉。这种知识是轻盈的、透明的、完美的,像是一个永远不会被打湿的干净屋子。
我在阳台上坐了很久,烟已经抽完了。远处的海面反射着城市的灯光,那堵墙还是那个样子,灰扑扑地横在视野里。我突然想到一个问题:如果连我也没办法分辨自己是在理解还是仅仅在进行符号置换,那么我如何判断大模型是在理解还是仅仅在输出?我们曾以为语言和逻辑是通往理解的门,现在看来,它们也许只是房间里那堆卡片。我们组织文字的方式,我们辩论的技巧,我们说服别人的能力,这一切都可以被拆解为更基础的操作。大模型做到了这一点,它用自己的存在证明,你的那些所谓的思想,本质上也不过是一堆符号的排列组合。
这句话说出来会让很多人不舒服。我们讨论大模型的时候,总是带着一种居高临下的傲慢——它没有意识,它只是统计,它不理解。但如果我诚实一点,我很难说清楚自己和它的区别在哪里。我也会在听到一个观点后马上搜索记忆中的对应词条,我也会根据对方的身份和语境调整措辞,我所谓的“思考”很多时候也不过是检索和匹配。区别可能只在于我有一具身体,能感受到饿和冷。但这种区别是本质的吗?还是说,痛苦和快乐也是一种可以被模拟的输出?
造船厂那个七月下午的阳光还留在我的皮肤里,被晒得发烫的钢板的气味还在我的记忆里挥之不去。当时我站在那里,看着那艘将被拆解的船体,第一次感受到了工程逻辑之外的东西。那是一艘不会出海的船,但所有人都还在为它的焊缝长度计算参数。这个场景和中文屋一样,都指向了同一个事实:我们大多数人,大多数时候,都在做一整套已经失去意义的动作。
我们假装船会出海,假装自己懂中文,假装墙不存在,假装自己不是哈尔。这些假装叠加在一起,就构成了我们所谓的正常生活。大模型的出现拆穿了这场表演。它说,你看,你们做的那些事情,我都能做,而且做得更快更完美。你们害怕的不是被替代,你们害怕的是发现自己本来就在做可以替代的事情。
这种发现是残酷的。它逼着每一个还在假装的人去面对一个问题:如果你做的事情可以被机器做掉,那么你存在的意义是什么?这句话不是针对大模型时代的预言,它一直就悬在那里。只是以前我们有足够的借口去忽略它。而现在,大模型像一个不懂礼貌的孩子,直接把它说了出来。
我站起身来,阳台上的风变大了。远处的海面上有船灯在晃动,是真实的船,不是造船厂那艘永远待在滑道上的船。我盯着那点光看了很久,心里想的是另一件事:如果我所有引以为傲的思考都只是符号置换,那么我此刻的感受——站在阳台上,吹着海风,看着船灯——会不会也只是一连串被激活的神经回路?这种感受本身是真实的吗?还是说,真实这个概念本身,也只是一个符号?
这是我第无数次问自己这类问题,每一次都以沉默结束。我最终还是去不了海边,那堵墙还在那里。也许我根本没想过去海边。也许我只是想保留一种幻觉,觉得自己还有一个可以去的地方。就像造船厂保留着那艘永远不会完工的船,就像中文屋里的人保留着那堆卡片,就像哈尔保留着那个杀死所有人类的任务。我们都在保留一些早已失去意义的东西,只因为停下来需要承认一件事:也许从来就没有什么大海,只有那堵墙,只有房间里那堆编上号码的卡片,只有那艘焊死了的龙骨。
大模型不会陷入这样的困境。它输出一句话,下一句话接着输出。它不会停下来问自己意义在哪里。它不是哈尔,因为它连“任务”这个概念都没有。它只是一个巨大的、安静的、永远在运转的符号系统。它不痛苦,不挣扎,不装糊涂,也不崩溃。它不是不会崩溃,是连崩溃这个选项都没有。这就是我想到“大模型没淋过雨”时真正的感受:它不知道淋雨是什么感觉,也就不知道被淋湿之后、站在雨里等风来吹干的那种漫长的苦等。我们所有人都在等那阵风,但它不用等。它连自己在等什么都意识不到。这既是它的幸运,也是我们和它之间那道无论如何也写不完的鸿沟。
炖刀的笔记
写这本书的时候,我在全国各地审了十几家工厂,看了各种各样的自动化产线。
有的厂,机器人已经在流水线上干了十年,从来没出过故障。有的厂,刚上了一条智能产线,三个月后就拆了——因为老师傅都走了,剩下的工人不会调参数。
大模型读过全世界所有的书,但没淋过一场雨。它不知道淋雨是什么感觉,也就不知道被淋湿之后站在雨里等风来吹干的那种漫长的苦等。而我们知道。这就是我们和它之间那道无论如何也写不完的鸿沟。
但也许,正是因为这个鸿沟,我们才有资格谈论智能。