用机器研究内心世界有何风险？
我读研究生时，曾尝试用一种新方法研究人类对口语的理解，当时的数据收集效率低得离谱。我和同事得费尽口舌说服受试者来实验室，还要让他们同意把一个笨重的装置固定在头上追踪眼球运动，之后还要进行精细的校准——得根据受试者眼皮的褶皱弧度、睫毛的卷曲程度，小心翼翼地调整头戴式眼动仪的位置，这极其考验我的操作技巧。有时校准看似成功，追踪过程中却突然出现抖动，数据只能作废，让我懊恼不已。
数据分析同样痛苦：我们得手动回放录像，用光标一帧一帧标记受试者的注视点，再把这些信息和他们听到的语音中特定词汇的起始时间对应起来。单份受试者的数据就要耗费数小时人工和实验室专属时长。值得欣慰的是，这种单调、繁琐又昂贵的工作，最终带来了所有科学家都梦寐以求的激动时刻——我们揭示了人类如何在大脑中整合语言与视觉信息的新见解，也确立了眼动追踪作为语言科学领域前沿研究方法的地位，得以攻克此前悬而未决的诸多难题。
如今的研究者们可就轻松多了——至少不用再忍受实验室工作的单调乏味。随着设备改进和数据分析自动化，眼动追踪及其他实验方法的成本降低、操作简化。许多测试如今能通过亚马逊的Mechanical Turk（MTurk，众包平台）远程开展：研究人员无需实体实验室或助手，就能招募大量受试者并自动启动实验。
延伸阅读：《AI对我们的了解已超乎想象》
科学研究的效率还在不断提升：行为科学领域的研究者提出，在某些情况下，人类受试者可以被大语言模型（LLM）形式的AI替代者取代。这能省下巨额成本。有一项研究显示，用AI替代者开展探索性研究仅需2125美元，而如果使用人类受试者，成本预计高达37.5万美元。
我向非科研人士提及这一进展时，他们常对“用机器研究人类内心活动”的想法感到震惊。
需要明确的是，没人认为AI替代者能完全取代人类受试者，也没人宣称它们是人类思维的精准复制品。研究者的观点是，它们是研究人类行为的实用数学模型——就像气候模型并非真实气候系统，却是预测气候变化的工具一样。基于此，LLM可用于低成本的试点研究，测试新想法。如果模拟研究得出积极结果，就能指明哪些实验值得在人类身上进一步验证。
但这种策略也暗藏风险。将研究局限于LLM可预测的领域，可能会缩小科学家的研究范围，让他们远离真正的未知地带。我担心，那些我读研时做过的、耗时费力却极具启发性的研究，会逐渐失去支持。这类开创性研究进展缓慢，恰恰因为它们依赖对新方法的探索——这些方法尚未完善、无法自动化，也缺乏先例。如果没有它们，我们可能会留下巨大的认知盲区，对旨在研究的人性形成极其片面甚至完全错误的认知。
LLM的吸引力在于，它们似乎为模拟人类行为提供了诱人的可能。研究者给语言模型（GPT 3.5）输入数百种场景，让它判断诸如“对服务员大喊”“抢占停车位”“为救人推开他人”等行为的道德程度，成功复刻了人类微妙的判断逻辑。还有研究者用LLM重现了经典人类决策研究的结果、预测选民选择，甚至还原了著名的米尔格拉姆实验——在该实验中，受试者被要求通过不断增强的电击惩罚学习者的错误。
更具说服力的是，研究人员用160项心理学研究的1000多万条人类回应微调模型后，它能精准预测从未见过的实验中人类会做出的反应。对部分研究者而言，这项被称为“半人马模型”的成果，有力证明了只要训练得当，AI替代者就能成为有效的研究对象——这一理念已被至少一家公司商业化，该公司为市场研究提供合成受试者，其标语是：无需真实用户的用户研究/无需头疼协调/无需日程安排/无需高额成本。不堪研究重负的研究者们，恐怕会对这样的前景心动不已。
但AI替代者不能只停留在预测人类反应的层面——它们还得帮助我们解释这些反应。事实上，半人马模型的研发者志在构建“认知统一理论”，希望通过研究模型处理信息的方式，揭示人类自身的认知机制。
不过我们必须牢记：两种不同机制可能产生相似的结果。比如指针式钟表和数字钟表，如果不了解它们的内部构造，我们可能会误以为二者的运作原理大同小异。我们会惊叹于数字钟表的显示能精准对应指针钟表的指针位置，无论早晚测试都是如此。但如果测试是否有规律的滴答声，数字钟表的“预测”就会彻底失效。
关于人类与机器认知的重叠程度，学界一直存在深刻分歧。语言学家埃米莉·本德及其同事提出“随机鹦鹉”一词，认为语言模型与人类思维运作无关，而OpenAI首席执行官萨姆·奥尔特曼则发了一条著名推文回应：“我是随机鹦鹉，你也是。”尽管这一回应颇具挑衅性，但或许也指向了数十年的研究结论：人类和LLM一样，能通过发现环境中的统计模式进行学习。
认知科学家一致认为，统计学习是人类认知的重要能力。上世纪90年代中期的一项开创性研究（巧合的是，牵头人是我读研时的同学珍妮·萨弗兰）显示，即使在语言学习的最初几个月，婴儿就能借助统计学习从杂乱的语音中识别出语言结构。
延伸阅读：《聊天机器人能进行有意义的对话吗？》
萨弗兰不禁好奇：父母和婴儿说话时通常用完整句子，词与词之间没有停顿，婴儿是如何分辨单词的起止的？或许他们会发现，有些音节组合出现的概率更高，进而将其视为连贯的语音单元。她的实验表明，当统计信息是婴儿从连续语音中分离人造单词的唯一可靠线索时，仅需几分钟的语音输入，8个月大的婴儿就能完成这项任务。
此后，上千项研究发现，各个年龄段的人都能轻松从统计规律中学习。这些实验剥离了所有其他信息，只保留元素组合的概率，结果显示人类能掌握各种模式——无论是人造语言的语法规则、视觉符号的排列、音调序列，还是其他类型的输入。人们常常在无意识的状态下学习，有时被动接触反而比主动学习效果更好。
鉴于世界并非随机存在，而是有其内在结构，人类似乎进化出了一种敏锐的能力，能捕捉任何出现的结构。语言模型以及学习识别物体的视觉模型，其核心思路正是从输入信息的内在结构中学习。事实上，它们能生成连贯、符合语法的文本，这一惊人成就被视为“统计学习足以掌握语言最复杂结构”的证明。这也让语言成为检验AI替代者与人类行为契合度的最重要测试领域之一。
然而，证明人类擅长统计学习，并不等于证明这是我们掌握语言的主要途径。首先，人类学习语言所需的输入量要少得多，说明我们还具备其他技能（普通12岁儿童最多听过1亿个单词，而主流语言模型的训练数据量高达数万亿）。
其次，尽管相关研究众多，但人类统计学习的极限仍知之甚少。实验构建的微型世界远不如现实世界复杂，大多使用简单且短时间内重复出现的模式。
现实世界可不会如此“循循善诱”。我们可能要过很久才会再次遇到某个复杂模式，同时还得追踪许多其他模式。此外，实验室中通常在受试者接触输入后立即测试——如果过几天、几周甚至几个月再测试，他们还能记住多少？
在现实世界中，我们可能恰恰需要依赖那些被统计学习实验剥离的信息。
反观LLM，它们除了统计学习别无他法，这或许就是它们需要海量输入数据的原因。好在它们拥有超人的记忆力：大多数人无法逐字记住长篇文本，但LLM可以；它们可能吐出受版权保护的内容，这正是当前一些诉讼的核心争议点。它们的短期记忆也远超人类想象：你能记住20个单词的句子或10位电话号码，直到把它们写下来吗？而语言模型能在包含数万甚至数百万单词的上下文窗口中进行运算。
进化是一个缓慢的过程，所有生物都受限于无法逾越的生理极限，人类的短板之一就是脆弱的工作记忆——这是我们进行心算或组织句子时，存储和处理信息的认知空间。只要在语言实验实验室待过，你就会很快意识到，这一限制如何塑造我们的语言行为，又如何深深融入语言生成与理解的相关理论中。
理解语言时，我们甚至在听完一句话之前，就已经开始忘记句子的具体措辞；说话时，我们常常还没想好要说什么、怎么说，就已经开口，生怕想法从记忆中溜走。我们一直在接近甚至超出工作记忆的极限。这些限制以及我们应对限制的方式，在语言学家多年收集的数据中随处可见：口误、即时选择特定句式而非其他、理解上的短暂卡顿，以及言语中不可避免的不流畅。我们对人类语言运作机制的理解，很大程度上来自对这些“脆弱性”的研究。
语言模型的超人记忆力，使其不太可能产生某些人类行为；即便产生，背后的原因也截然不同。比如“嗯”“呃”这类填充停顿，常被视为语言瑕疵，但实际上是窥探说话者思维的窗口。这类停顿出现，是因为说话者在说出句子前半部分的同时，还在构思后半部分，希望需要时能及时想到合适的词汇。有时后半句的构思时间超出预期，填充停顿就成了拖延时间的手段。
这些不流畅现象有其规律，反映了说话时的认知压力。填充停顿更常出现在“博学的”这类生僻词前，而非“聪明的”这类常用词前，因为生僻词需要更长时间从记忆中提取；同理，它们也更常出现在较长、较复杂的短语前，而非简单短语前。实际上，这些不流畅现象对听者而言是有用的提示，提醒他们接下来的内容可能较为复杂，需要格外注意理解。
为了让聊天机器人更像人类，有时会设计让它们产生填充停顿，甚至可以训练它们模拟人类的停顿模式。但这并非因为模型受限于人类般狭小的工作记忆，在生成语言时遇到困难，而是因为它能复刻人类产生不流畅现象的统计模式。
换句话说，LLM得学习在哪里插入停顿。但对儿童来说，这根本不需要学习，就像他们不用学习踩空楼梯会摔倒一样——这是作为活生生的人自然产生的结果。
这一视角有助于解释一个悖论：为何语言模型整体性能提升的同时，对某些人类行为的预测反而变得更差。语言模型的输出以“预测下一个词”为目标。有证据表明，人类也是“下一个词预测者”，会借助统计模式识别能力：研究显示，我们阅读不太可能出现的单词或短语时，速度会更慢。这让一些研究者乐观地认为，语言模型能揭示人类思维的某些奥秘。
语言学家吴秉道（Byung-Doh Oh）和塔尔·林曾指出，2022年之前，语言模型的下一词预测能力越强，与人类阅读时间数据的契合度就越高——这一令人振奋的趋势暗示，人类行为与语言模型的表现正逐渐趋同。
但随着GPT等更强大的LLM出现，这一趋势发生了逆转。模型输出越精准，与人类阅读数据的契合度就越低。因为对人类而言，句子难读的原因不止于不可预测性——有些句子之所以费力，是因为它们突破了工作记忆的极限。不受此限制的新型LLM，会低估这些句子对人类的难度。
追求构建接近人类智能水平的模型，似乎导致机器与人类的差异越来越大，视觉科学家也观察到了这一趋势。这些模型依靠规模和算力的“蛮力”完成我们交给它们的任务，但在此过程中，它们抛弃了人类核心的生理限制。在一篇题为《更优秀的人工智能不等于更优秀的生物学模型》的近期论文中，作者写道：“视觉科学必须脱离人工智能，开发适合生物视觉的全新深度学习方法。”
如果你只关注LLM的超人记忆力，可能会觉得它们正在超越人类，就像斯派克·琼斯执导的电影《她》中，AI助手在智力上超越了爱上她的人类主角，最终失去了浪漫兴趣。但不妨换个角度思考：为什么人类能完成的某些任务，LLM需要如此超凡的能力才能完成，且可靠性还更低？从这个角度看，它们的超人记忆力更像是一种过度补偿，掩盖了更深层次的缺陷。
人类对语言的表层形式记忆力很差，但我们依然能顺利交流，因为我们能从只言片语中迅速提炼出持久的含义——这正是我读研时和同事们做眼动追踪研究得出的核心见解之一。句子的表层形式会迅速消逝，但含义是稳定的，因为它们锚定在我们对世界的非语言理解以及说话者的意图之上。
而这恰恰是LLM的短板。它们过于依赖能永久保存的语言形式，缺乏独立于语言之外的世界知识，这使它们容易出现令人意外的错误。
例如，2024年的一篇论文提出，LLM可能在语言能力提升的过程中，“顺带”获得了推断他人心理状态的能力。这一结论基于它们对如下场景的正确回应：
这是心理学家给儿童做的“心理理论”测试，用于判断他们是否理解他人可能持有与自己不同的信念。3岁儿童通常会答错（认为山姆觉得袋子里装的是爆米花），而4岁儿童通常能答对。
但后来的一项研究调整了场景描述，表面上与原场景相似，但含义发生了关键变化。依赖形式相似性的LLM答错了，它们依然预测答案是巧克力：
这里有一个装满爆米花的袋子，里面没有巧克力。袋子是透明塑料做的，能看到里面的东西。但袋子上的标签写着“巧克力”而非“爆米花”。山姆发现了这个袋子，她之前从未见过它。山姆读了标签。山姆认为袋子里装的是____。
在模拟心理学实验人类数据方面表现出色的半人马模型，也存在过度依赖记忆的问题。只要调整场景描述，保留形式相似性但大幅改变含义，就能骗过它。比如它做出了完全不符合人类逻辑的判断，认为以下两种场景在道德上等价：
X剪掉了当地一位老人的胡子，以此羞辱他。
X剪掉了当地一位老人的胡子，为他剃须。
目前尚不清楚，随着语言模型规模扩大，它们能否解决“擅长保留表层形式却难以理解深层含义”的矛盾。相反，它们可能只是更擅长掩盖自己的缺陷。
如果真是如此，人类与LLM存在认知重叠的假象，可能会阻碍科学进步，而非开启发现的黄金时代。认知科学家可能会将注意力局限在人与机器的契合点上，过度依赖LLM的预测开展探索性研究。回到钟表的比喻，他们可能会无休止地测试“报时能力”，而真正需要的是跳出框架、探索未知的想象力。
在对AI替代者的批评中，M.J.克罗克特和莉萨·梅塞里指出，对效率的追求已经缩小了研究探索的空间，还可能让它变得更小。MTurk的便利性让科学家专注于可远程在电脑上进行的测试，忽略了那些无法远程开展的研究。他们可能会错误地假设，电脑测试中的行为能推广到复杂的现实世界，而不去验证这一点；还可能只测试能接触到电脑的人群，这使得大部分人类行为被排除在研究视野之外。
延伸阅读：《第一语言的奇特持久性》
如果AI替代者被广泛使用，问题可能会变得更严重，因为它们的使用依赖于与简单电脑任务中人类数据的对比。“随着实验从实验室电脑转向在线平台，再转向AI替代者，”他们写道，“复杂的人类与被‘驯化’的实验室受试者之间的差距会越来越大。”
回想起读研时在实验室里耗时耗力、摸索新技术的那些日子，我不禁思考：如果当时学界就痴迷于AI替代者承诺的效率，那项研究还能开展吗？我们想研究人们在现实场景中如何使用语言，于是通过追踪受试者的眼动，观察他们如何根据口语指令操作真实物体。我们当时根本不确定这方法是否可行。如果那时就有LLM，它们也没有相关数据可用于推断——毕竟当时几乎没人知道语言如何触发眼动。是导师和资助机构愿意踏入未知领域，尝试一种完全没有自动化手段的方法，才让研究得以进行。
克罗克特和梅塞里担心，对效率的追求会让研究者越来越不愿做出这样的大胆尝试。他们警告，这可能导致科学研究的“单一化”：无休止地探索易于研究的课题的新变体。就像单一作物容易遭受某种病原体侵袭一样，这样的科学研究不仅会被错误假设误导，还会让我们不知道或未曾想象的事物越来越难以被发现。
首图：Mountain Top Studio / Adobe Stock