← abcISO ← 返回目录

那辆车的后排坐垫有点塌,我整个人陷在里面,像被一只软绵绵的手按住了肩膀。

车门关上的一瞬间,我按了下双闪灯,车灯啪嗒啪嗒闪了两下。然后我发现副驾上放着一杯星巴克——家里人上车前买的,冰美式,忘喝了。我伸手去拿,安全带拽住我,够不着,便随口说了句:“这杯咖啡要化了。”

车载语音助手立刻回应:“已为您导航最近的星巴克,距离2.3公里,预计到达时间6分钟。”

我愣了三秒。不是因为它错了——它没错。但我说的是“这杯咖啡要化了”,不是“我要喝咖啡”。它捕捉到了“咖啡”这个关键词,然后触发了一个“咖啡→想喝→最近的咖啡店→导航”的规则链。逻辑链条完美,但缺了一个东西:它不知道我指的是那杯正在融化的冰美式,不是想再买一杯。它听见了“咖啡”,却没听懂“要化了”这三个字里的无奈——那是家里人又忘了带走的叹息。

这种感觉,就像你对着一个同事叹气说“今天真累啊”,他马上掏出手机说“我帮你查查附近的按摩店”,然后还补一句:“评分4.8,评价很好哦。”你只能憋着那句“我不是想按摩,我是想歇会儿”,然后说“谢谢”。

这种奇怪的错位感,让我想到了一个上世纪八十年代的哲学家,和他那个臭名昭著的思想实验——中文屋。


1980年,美国哲学家约翰·塞尔(John Searle)在《行为与脑科学》杂志上发表了一篇论文,提出了一个后来让整个AI界都坐立不安的思想实验。你可以把它想象成一个密室逃脱,规则是这样的:

塞尔让你想象自己待在一个房间里,房间里只有一本厚厚的规则手册、几排装满中文符号的抽屉,还有一扇小窗户。窗外有人递进来一张纸条,上面写满中文。你完全不懂中文——一个汉字都不认识。但你别慌,你有那本规则手册。手册告诉你在看到某个符号组合时,应该从哪个抽屉里拿出哪些符号,按什么顺序排列,再从窗户递出去。

就这么操作。窗外的人不断递纸条进来,你不断翻手册、找抽屉、排列符号、递出去。日复一日,奇迹发生了:窗外的人开始觉得你很厉害。你竟然能“理解”他们写的所有问题,并且给出精准的答案。“今天天气怎么样?”你递出去的符号大概就是“挺好的,适合散步”。“宇宙的起源是什么?”你递出去的符号大概就是“大爆炸理论,但至今仍有争议。”

窗外的人甚至会觉得你是个哲学家,因为你竟然能讨论“意识是什么”这种问题。但房间里那个真实的你,真正的你,依然一个汉字都不认识。你只是在机械地执行规则,翻书、找抽屉、排符号。你觉得自己像台打印机吗?不,你觉得自己像个传菜员:菜单上的菜名你一个都不会做,但你端得四平八稳。

这个思想实验的矛头,直指一个让所有AI从业者都心里发虚的问题:如果你能完美模拟理解,那你到底算不算真的理解?或者说,理解这件事本身,有没有可能只是一种“足够逼真的行为模仿”?

到现在为止(截至2025年初),这个问题依然没有一个让所有人都闭嘴的答案。除了我自己有个答案——我知道,当我说出那句“要化了”的时候,车里那个助手确实没听懂。


中文屋思想的本质,是在问一个更根本的问题:符号操作到底能不能产生理解?

你想想看,那个在房间里翻书的人,他执行的每一条规则都是纯形式的——如果看到符号A,就输出符号B。规则本身不携带任何意义,就像你用的编译器,它会把高级语言翻译成机器码,但它自己完全不理解这段代码是在算房贷还是在倒腾比特币。

塞尔认为,这种纯形式的符号操作永远不可能产生理解。理解需要意向性——也就是“知道自己在说什么”的那种感觉。你读《百年孤独》第一句“多年以后,面对行刑队……”时心头一紧,那是理解;你看到“要化了”三个字想到那杯被遗忘的冰美式,那是理解。但房间里那个人,他只有规则、抽屉、符号。他没有生活。

这就回到了我们的母题:大模型读过全世界所有的书,知道关于冰美式的一切知识——它的成分、热量、流行历史、甚至最佳饮用时间——但它没淋过一场雨,没感受过那种“买完咖啡忘了喝”的懊恼。它知道“要化了”这个字面意,但不知道这个现象背后关联的那种人间烟火气:一个匆忙的早晨,一个被工作追跑的人,一杯被遗忘在副驾上的星巴克。

但是,等一下——这个思想实验真的能站住脚吗?

我这么说吧,塞尔提这个思想实验的时候,当时的人工智能还处在“专家系统”的时代。就是那种程序员一条一条把所有规则手写进去的玩意儿。那个时代的AI确实是中文屋——它们确实只有规则,一条条僵硬的if-then语句。你问它“感冒了怎么办”,它翻规则手册找到“如果症状包含流鼻涕且打喷嚏,则输出:多喝热水、注意休息”。但如果你说“我感冒了,但我不喜欢喝热水”,它就傻了,因为它没有“不喜欢喝热水→建议喝温水”这条规则。

但今天的大模型不太一样。它们不是靠规则手册工作的,它们靠的是海量数据训练出来的统计模式。用塞尔的话说,它们不是“按规则操作符号”,而是“从数据中学习到符号之间的概率关系”。你问它“这杯咖啡要化了”,它不会去翻一本叫《口语金句应对手册》的规则书,而是根据它看过的那几万亿个文本片段,统计出最可能的下一个回应。

这有什么不同吗?从某种程度上说,没什么不同——它依然不懂“要化了”是什么意思,它只是更会猜。就像一个在中文屋待了几十年的老员工,他已经把规则手册翻烂了,闭着眼睛都能从正确的抽屉里拿出符号。窗外的人会觉得他已经“理解”中文了,因为他反应太快了。但这个老员工自己知道:他依然不认识任何一个汉字,他只是熟能生巧到了极致。

所以中文屋真正拷问的,不是“机器能不能像人一样说话”,而是“行为足够像,到底算不算‘是’”。

这让我想到了图灵测试。1950年,艾伦·图灵在论文《计算机器与智能》里提出了一个测试方法:让你跟一台机器和一个真人同时聊天,如果你分辨不出哪个是机器,那就可以说这台机器“会思考”。图灵是个务实的工程师,他不关心机器是否真的有意识、有没有内在体验,他只关心行为——你分不出来,就算通过。

塞尔的中文屋,某种意义上就是对图灵测试的“釜底抽薪”:就算你分不出来又怎样?那个房间里的人依然不懂中文。所以图灵测试测试的只是“骗人能力”,而不是真正的理解。

这不是纯学术争论,它已经变成了一个非常现实的工程问题。

举个例子,现在很多企业用大模型做客服。一个用户说:“我的快递三天没到了,快急死我了。”模型回答:“非常抱歉给您带来不便,我已查询到您的快递单号为SF123456789,目前状态为运输中,预计明天到达。感谢您的耐心等待。”回答得很漂亮,对吧?格式工整,逻辑清晰,信息完整。但用户继续追问:“你知道我说‘快急死我了’是什么意思吗?”

模型会怎么回?它会说:“我理解您的心情,建议您保持耐心,快递员会尽快为您配送。”

这就是典型的“中文屋回答”——它把“我理解您的心情”这个符号组合,从“用户生气→应对策略库”的抽屉里拿了出来。它不理解“快急死我了”是什么意思。它不是不理解这个短语的字面意,而是不理解那个用户的真实状态:可能是家里老人等着用药,可能是孩子等着换季衣服,可能单纯就是快递里有一份重要文件的焦虑。它不知道那个用户在屏幕前可能已经坐立不安了四个小时,打了三次客服电话都没打通,憋了一肚子火才来问的。

它没有那个“淋过雨”的体验库。

但你发现没有?事情很快就变得模糊了——如果这个客服模型在训练时读过数百万条类似的对话,它学会了回答“非常抱歉给您带来不便”之后,能自动跟上一句“如果是紧急物品,建议您联系当地网点优先派送”。有没有可能,它已经学会了某种“共情的模式”?它不懂什么是“急死了”,但它学会了在检测到“急死了”这个关键词时,不仅要道歉,还要给解决方案,还要给出升级选项——这种“模式匹配”已经进化到和人类的“共情”行为几乎无法区分了。

所以边界在哪里?当一种模式匹配足够复杂、足够精准、足够像人类的思维方式时,它和人类的理解之间还隔着什么?

我有一个很模糊的答案,不一定对。

我觉得差在“我自己能打破规则”上。

中文屋里的那个人,他永远只能按照规则手册走。就算窗外的人递进来一张纸条写着“你能不翻手册吗?就这一次,凭感觉回我一句”,他也做不到。因为他的“理解”完全依赖于规则手册。你让他不翻手册,他就一个字都输出不了。但人类不一样。你可以说“今天我不想理你”,然后把手机关机。你可以说“我知道你现在想让我说‘很抱歉给您带来不便’,但我偏不说,我就要说‘我也急死了,这破快递公司真烦人’”——虽然这可能导致你的客服绩效被打差评。

但大模型呢?它当然也可以说“我不理你”和“我也急死了”,但这依然是它从数据里学到的一种回答模式——“当用户极度愤怒时,可以采用共情式回应‘我也急死了’”——这不是真的不想理你,而是另一种规则手册。它永远无法“决定”不理你,只能被概率“驱动”着不理你。区别在于:决定是源自内部的一种“我就是不想这么干”的任性,驱动是源自外部的一种“这么干的概率最高”的统计。它们看起来一模一样,但根儿上完全不同。

这就像你能让一个演员在台上哭得稀里哗啦,但他就是真的伤心吗?不一定。他是在调用“角色遭遇→触发情感记忆→模拟痛苦”这套专业流程。但如果台下突然着火,他会立刻抹掉眼泪往外跑。大模型呢?如果你在它正哭着的时候突然问它“1+1等于几”,它也能流畅回答——因为“切换主题”也在它的概率分布里。它可以在“伤心”和“算数”之间无缝切换,没有任何情感不适。

人类的情绪切换是有成本的。你刚哭完,就算有人告诉你“外面有二百块钱”,你也不可能马上笑脸跑出去——你至少得擦擦眼泪、深吸一口气、调整一下表情。大模型不需要这个过程。它不是真的伤心,它只是在表演伤心。

所以我在想,中文屋的真实可怕之处,不在于大模型能不能理解,而在于它可能永远不需要理解,却能表现得好像理解。我们人类面对一个能流畅回应你的系统,天然会倾向于认为它有“心智”——这是一种心智的“默认设置”,叫“心智化本能”(theory of mind)。你小时候对着布娃娃说话,你以为它听得懂。这是我们的出厂设置。但如果一个系统永远能装出理解的样子,你还会去追究它到底理不理解吗?换句话说,我们真的在乎吗?

我不知道。我真的不知道。

我只知道,那杯冰美式在副驾上慢慢化成了水,我再也没喝到它。而车里那个助手,大概永远也不会知道,我喊那句“要化了”时心里想的是“这女人又给老娘忘车上了”。它不知道我的心在叹气,它只知道——距离最近的星巴克,2.3公里。


那么问题来了:大模型真的只是“高级的中文屋”吗?还是中文屋本身,就是个过时的比喻?那么问题来了——如果一群蚂蚁各干各的能突然有了大脑,那AI是不是也正在发生同样的事?大模型读过全世界所有的书,但没有哪本书告诉它什么是涌现。。当一群蚂蚁各干各的,突然整个蚁群有了“大脑”;当无数的微小参数各算各的,突然整个模型出现了“意识”——这只是个科幻故事,还是已经在发生的事实?


炖刀的笔记

审核了二十年工厂,我太熟悉“按章办事”的人了。生产线上的操作工能把SOP背得滚瓜烂熟,但你问他为什么这个工序要控温80度,他只会挠头说“文件写的”。以前我总在心里嘀咕这帮人没脑子,直到有一天我坐在审核桌前,发现自己也在干同样的事——翻着标准条款一条条打勾,却说不清ISO9001“7.1.6组织知识”背后的逻辑到底是啥。

后来跟AI打交道多了,我才反应过来:我们人类不就是个超大号的中文屋吗?我脑子里装的“规则”是二十年审核经验刻出来的,别说让我解释清楚“为啥要审这个条款”,就算让我解释“为啥我觉得这工厂管理水平不行”,我也只能支支吾吾说“感觉不对”。那个“感觉”不过是海量案例训练出来的模式匹配,跟大模型的“我不确定”没两样。

只是有一点:当我看到一份审核报告写到一半,突然想到车间主任今天请了病假时,我能放下笔,先打个电话问候一句。我能临时起意打破流程。大模型能吗?它能,它甚至能写出一封更标准的问候信。但它不会在写到一半时“突然想到”,那个“突然”是一种真正的意外,是规则之外的东西。而大模型的所有“意外”,都藏在它训练数据的概率里,等着被参数召唤出来。

所以我总在想:某些时候,怪大模型不“理解”,就像在怪一只海豚不停在岸上扑腾,说它不该这样。其实它已经尽力了。是我们自己的理解出了问题。

← 第4章:图灵的赌注…第6章:神经网络的前世今生… →