游戏百科

斯坦福大学开发全新AI评测方式:用未解难题考验AI的真正实力

这项由斯坦福大学的Fan Nie、Ken Ziyu Liu等多位研究者联合完成的研究发表于2025年8月,论文编号为ar

这项由斯坦福大学的Fan Nie、Ken Ziyu Liu等多位研究者联合完成的研究发表于2025年8月,论文编号为arXiv:2508.17580v1。有兴趣深入了解的读者可以通过这一编号查询完整论文。研究团队来自斯坦福大学、华盛顿大学、北卡罗来纳大学等多个顶尖学府,以及Contextual AI等科技公司。

当前的AI评测就像让学霸做已经有标准答案的历年高考试卷。虽然能测出一些能力,但很快就会出现"刷题机器"——AI模型很快就能在这些测试中取得接近满分的成绩,让我们无法真正了解它们的极限在哪里。更关键的是,这些测试题目往往是专门为了考试而设计的,与现实生活中真正需要解决的问题相距甚远。

研究团队提出了一个革命性的想法:既然现有的考试都有标准答案,那为什么不让AI去挑战那些连人类专家都还没解决的真正难题呢?这就像让围棋AI去下那些千百年来围棋大师们都没有找到最佳解法的残局,或者让数学AI去证明那些悬而未决的数学猜想。

这种评测方式的巧妙之处在于,它天然具备了两个重要特质。首先是足够困难——既然连人类专家都没能解决,那肯定不会很快被AI轻松攻破。其次是极其现实——这些问题都来自真实世界,解决了就能产生实际价值,而不是仅仅为了考试而存在的人工题目。

基于这个理念,研究团队构建了一个名为UQ的全新评测体系。这个体系就像一个三环相扣的精密机器,每个环节都有其独特的功能。第一环是数据集,收集了500个来自Stack Exchange网络的真正未解难题。第二环是验证器,使用AI来初步筛选答案的可能正确性。第三环是平台,让专家们可以验证和讨论这些答案。

一、寻找真正的未解难题:从茫茫题海中淘金

要找到真正有价值的未解难题,就像在巨大的图书馆里寻找那些最珍贵但被遗忘的古籍。研究团队选择了Stack Exchange这个巨大的知识问答网络作为挖掘地点。Stack Exchange就像一个包含80多个专业社区的知识宝库,从数学、物理到科幻小说,几乎涵盖了人类知识的方方面面。

在这个网络中,有着超过300万个至今没有得到满意答案的问题。但并不是所有未答问题都适合用来评测AI。有些问题可能只是因为太冷门而没人关注,有些则可能表述不清或者根本无解。研究团队需要像考古学家一样,从这些问题中精心筛选出真正的宝石。

筛选过程分为三个阶段,每个阶段都像不同目数的筛子,逐步过滤掉不合适的问题。第一阶段使用基于规则的筛选,就像用最粗的筛子先过一遍。他们设定了一系列硬性标准:问题必须至少有两年历史,确保有足够时间让专家们尝试解决;必须有足够的关注度,体现在浏览量和投票数上;必须真的没有任何答案,而不是有答案但提问者不满意。

这第一道筛子就过滤掉了99%的问题,从300万个问题缩减到约3.4万个。这就像从一座山的石头中挑出可能含有宝石的矿石。

第二阶段引入了AI判官,让两个不同的AI模型配合工作。一个AI尝试回答问题,另一个AI则评判这个答案的质量和问题的特性。评判的标准很严格:问题必须表述清晰,让专家能准确理解要求;必须足够困难,连最先进的AI都难以正确回答;必须在原则上可解,不能是那种根本没有答案的问题;必须有客观的正确答案,而不是主观判断题。

这一阶段将问题数量进一步缩减到约7685个,淘汰率高达77%。就像经过初步分拣后,确定了哪些矿石最有可能含有宝石。

最后的人工审核阶段最为严格。博士级别的专家们仔细审查每一个候选问题,就像宝石鉴定师用放大镜检查每一颗可能的宝石。他们不仅要看问题本身的质量,还要参考最先进AI模型的尝试答案,判断问题是否真的困难。经过这最后一道关卡,最终选出了500个高质量的未解难题。

这些问题覆盖了极其广泛的领域。数学和数学物理学占了大头,包括一些连专业数学家都觉得棘手的证明题。理论计算机科学贡献了不少算法复杂性问题。还有一些令人意想不到的领域,比如科幻小说爱好者们多年来一直想要找到的某本书,或者历史学家们争论不休的某个历史事件的具体细节。

为了确保质量中的质量,研究团队还精选出25个"钻石级"问题。这些问题不仅难度极高,而且在原平台上获得了异常高的关注度——浏览量超过2000次,获得了75个以上的赞同票。高关注度通常意味着社区的严格审核,确保问题的价值和难度。

二、AI验证器:当AI成为AI的考官

既然这些问题连人类专家都没有标准答案,那要如何评判AI的回答是否正确呢?传统的考试可以对照标准答案打分,但这里面临的是一个全新的挑战:如何在没有标准答案的情况下评估答案的质量?

研究团队发现了一个有趣的现象:AI在验证别人答案方面的能力往往比生成答案的能力更强。这就像很多人虽然自己写不出好文章,但能够准确识别出哪篇文章写得好。基于这个观察,他们开发了专门的AI验证器系统。

这个验证器系统的设计哲学是宁可错杀一千,不可放过一个。也就是说,它更倾向于拒绝可疑的答案,而不是轻易通过。这种保守策略的原因很简单:如果一个错误答案被标记为正确,可能会误导后续的研究和应用;而如果一个正确答案被误判为错误,虽然遗憾,但不会造成知识上的污染。

验证系统采用了层次化的检验策略,就像医院里的多重诊断程序。底层检验包括三个方面:正确性检查,判断答案是否准确完整地回应了问题;事实逻辑检查,确认答案中没有明显的事实错误或逻辑漏洞;循环一致性检查,让AI根据答案反推出问题,然后与原问题对比,看是否匹配。

中层策略主要是通过重复和迭代来提高判断的可靠性。重复采样就是让AI多次评判同一个答案,看结果是否一致。迭代反思则是让AI重新考虑自己的初始判断,类似于考试中的"检查答案"环节。

高层聚合策略决定如何整合所有这些判断。多数投票采用民主原则,超过半数的判断决定最终结果。一致投票更加严格,要求所有判断都同意才能通过。流水线验证则是逐级筛选,只有通过前一阶段检验的答案才能进入下一阶段。

研究团队发现,复合验证策略确实比简单的一次性判断更加准确。比如,使用三阶段流水线验证的系统,准确率从原来的30%提升到了80%以上。但代价是召回率的显著下降——很多可能正确的答案被过度谨慎地拒绝了。

更有趣的是,他们发现简单的验证器往往存在"自恋"倾向——同一家公司开发的AI模型在评判时会偏向自己或兄弟模型的答案。比如,OpenAI的模型在评判其他OpenAI模型的答案时会更加宽松。但复合验证策略能有效缓解这种偏见,让评判更加公正。

然而,AI验证器也有明显的局限性。它们的精确度普遍不高,最好的系统也只能达到40%的精确度。这意味着它们批准的答案中,实际上有60%可能是错误的。另外,验证器的排名结果很不稳定——不同强度的验证器可能给出完全不同的模型排名,这提醒我们不能完全依赖自动化验证。

三、开放验证平台:集众人智慧验真伪

既然AI验证器有其局限性,就需要人类专家的最终把关。研究团队构建了一个开放的在线平台,让全世界的专家都能参与到答案验证过程中来。这个平台就像一个学术界的"维基百科",通过集体智慧来评判答案的正确性。

平台的设计理念是最大程度的透明和开放。每个问题都有专门的页面,展示问题的详细内容、各个AI模型给出的答案、AI验证器的评判结果,以及完整的推理过程。这种透明度让任何人都能追溯评判的依据,确保过程的公正性。

模型开发者可以提交他们的AI系统对这些难题的答案。提交时需要包含详细信息:组织名称、系统名称、基础模型、候选答案,最重要的是用于生成答案的完整提示词。这种要求确保了实验的可重复性——其他研究者可以使用相同的提示词验证结果。

人类评审者可以对每个候选答案进行专业评估。评估过程类似于学术期刊的同行评议:评审者需要给出正确性评分和置信度评分,并提供详细的评判理由。这些评审意见会公开展示,接受社区的监督和讨论。

除了AI验证器的自动判断,平台还支持提交额外的AI评审。这为研究更好的自动验证方法提供了试验田,同时也为答案验证提供了更多参考意见。

平台提供了实时的统计信息,展示数据集的解决状态、各个验证器的通过率、已解决问题的数量、参与评估的模型数量等。这些统计让用户能够直观了解整个项目的进展。

最重要的是,平台建立了基于解决问题数量的模型排行榜。但与传统排行榜不同,这里的排名基于经过人类专家验证的正确答案数量,而不是简单的测试分数。这种排名方式更能反映AI系统解决实际问题的能力。

为了激励专家参与,平台设计了多种激励机制。首先是公开署名,让贡献者获得应有的认可。其次是教育价值,阅读和评判这些高难度问题的AI答案本身就是很好的学习过程,能帮助人们理解AI的能力边界。平台还会邀请原问题的提出者参与验证,给他们直接获得答案的机会。

随着时间推移,平台会形成良性循环:AI验证器的改进降低了人工验证的工作量,而人类反馈又帮助训练更好的验证器,使更多问题变得可以自动处理。

四、实战测试:顶级AI的真实表现

当这套全新的评测体系建立完成后,研究团队迫不及待地想知道:当前最强的AI模型在面对真正的未解难题时表现如何?结果既在意料之中,又让人深思。

他们测试了当前最顶尖的几个AI模型,包括OpenAI的o3系列、Google的Gemini 2.5 Pro、Anthropic的Claude等。这些模型在传统基准测试中都能取得优异成绩,有些甚至接近满分。但面对这些未解难题时,它们的表现却截然不同。

最强的模型o3-PRO在500个问题中只有75个答案通过了AI验证器的严格筛选,通过率仅为15%。这个数字本身就很说明问题——即使是最先进的AI,在面对真正困难的问题时,成功率也相当有限。

更关键的是,通过AI验证器只是第一步。在经过人类专家进一步验证的91个答案中,只有10个被确认为真正正确。这意味着AI验证器虽然已经很严格,但仍然会放行一些实际错误的答案。AI验证器就像一个尽职但不完美的门卫,虽然拦住了大部分不合格的访客,但偶尔还是会放错人。

在这10个被确认正确的答案中,有6个来自数学领域,1个来自物理学,还有来自编程、统计学和复古计算等领域的各1个。这种分布反映了不同领域问题的特点:数学问题虽然困难,但往往有相对明确的验证标准;而其他领域的问题可能更加开放,验证起来更困难。

特别值得注意的是o3-PRO的表现。在早期测试中,几乎所有模型都无法产生任何经过验证的正确答案,但o3-PRO成功解决了4个问题。这个突破虽然看起来微小,但意义重大——它表明AI已经开始具备解决某些真正困难问题的能力,即使这种能力还很有限。

研究团队还发现了AI回答中的一些典型失败模式。最常见的问题是引用不存在的文献或资料。比如,AI可能会引用一篇看起来很学术的论文来支持自己的观点,但这篇论文实际上根本不存在。这种"幻觉"现象在回答需要大量背景知识的问题时尤其突出。

另一个常见问题是逻辑推理的细微错误。AI可能在大框架上理解正确,但在某个关键步骤上出现错误,导致整个答案失效。这就像建造一座桥梁时,设计理念正确,但某个关键节点的计算错误导致整座桥无法承重。

在特别精选的25个"钻石级"问题中,情况更加严峻。虽然有4个答案通过了AI验证器,但经过人类专家验证,没有一个被确认为正确。这说明最困难的问题对当前的AI来说仍然是不可逾越的障碍。

五、深层启示:重新定义AI评测的未来

这项研究不仅仅是一个新的评测工具,更是对整个AI评估领域的深刻反思。它揭示了当前AI评测中的一些根本性问题,并为未来指明了方向。

传统的AI评测就像让学生做练习册上的习题,虽然能检验基础知识的掌握情况,但很难评估解决真实世界复杂问题的能力。而用未解难题评测AI,就像让学生参与真实的科学研究项目,虽然可能无法得出标准答案,但能更好地检验创新思维和问题解决能力。

研究揭示了一个重要现象:AI的验证能力确实强于生成能力。这个发现有重要的实用价值。在很多应用场景中,我们可能不需要AI从零开始解决问题,而是让它从多个候选方案中选出最好的。这种"评委型AI"的应用前景可能比"创作型AI"更广阔。

项目的动态性是另一个重要特点。随着AI能力的提升,一些原本无解的问题会被逐步解决,需要不断补充新的难题。这就像一个永远在更新的挑战榜,确保评测始终处于AI能力的前沿。这种动态更新机制能够持续推动AI技术的发展。

研究还暴露了完全自动化评测的局限性。即使是设计精良的AI验证器,在处理开放性问题时仍然错误率很高。这提醒我们,在可预见的未来,人类专家的参与仍然是不可替代的。但这并不意味着自动化验证毫无价值——它们可以作为初步筛选工具,大大减少人类专家的工作量。

社区驱动的验证模式展现了科学研究的民主化趋势。传统的同行评议往往局限于少数专家,而开放平台能够汇聚全世界的智慧。这种模式不仅提高了验证的质量,也让更多人参与到前沿科学问题的讨论中来。

从技术发展的角度看,这种评测方式可能会推动AI朝着更实用的方向发展。当AI开发者知道他们的模型将面对真实世界的挑战时,他们可能会更关注实际问题解决能力,而不是仅仅优化测试分数。

研究也引发了关于AI发展目标的思考。我们是希望AI能够在标准化测试中取得高分,还是希望它们能够真正帮助人类解决困难问题?显然,后者更有价值。这种评测方式将激励AI朝着更有实际意义的方向发展。

说到底,这项研究提出了一个既简单又深刻的想法:要真正了解AI的能力,最好的方法就是让它们去挑战人类还没有解决的问题。这种评测方式不仅更加真实可信,也更有实际价值。当AI能够解决这些问题时,它们就真正成为了人类知识进步的助力,而不仅仅是考试机器。

虽然目前的结果显示AI距离解决大部分未解难题还有很长的路要走,但这正是这种评测方式的价值所在——它为AI的持续改进提供了明确的目标和可靠的衡量标准。随着AI技术的不断发展,我们有理由期待越来越多的未解难题会在AI的帮助下找到答案,这将是人工智能真正成熟的标志。这个评测平台现在已经开放,任何对前沿AI能力感兴趣的人都可以参与其中,共同见证和推动这一激动人心的进程。

Q&A

Q1:UQ评测系统与传统AI评测方法有什么本质区别?

A:传统AI评测就像让学生做有标准答案的练习题,而UQ系统让AI挑战连人类专家都没解决的真正难题。这种方式更能检验AI解决实际问题的能力,而不是记忆和模仿能力,评测结果也更有现实意义。

Q2:为什么顶级AI模型在UQ测试中表现这么差?

A:最强的o3-PRO模型也只有15%的答案通过初步验证,经人类专家确认正确的更少。这说明现有AI虽然在标准测试中表现优异,但面对真正困难的开放性问题时能力仍然有限,还无法真正替代人类专家解决复杂问题。

Q3:普通人如何参与UQ平台的验证工作?

A:UQ平台完全开放,任何人都可以访问uq.stanford.edu查看问题和AI答案。如果你在某个领域有专业知识,可以注册成为验证者,评判AI答案的正确性。平台会提供详细的评判标准和完整的答案推理过程供参考。