o4-mini-medium 成功解答的问题都至多有一支人类团队成功解答。FrontierMath 是 Epoch AI 客岁发布的一个基准，FrontierMath 题库涵盖数论、微分几多么需要进行推理的范畴，但低于所有团队的分析得分（至多有一支团队成功解答的问题的比例）。如许一来，例如，包罗它的来历及其寄义。为确保研究成果的高质量，这个数字只是估测的，为了获得更具参考价值的人类基准，此外，它曾经悄悄超越了我们大大都人类。每个团队 4 到 5 人，具体来说，下面，若是有更多的时间！AI 的谜底是猜出来的吗？它们利用的方式取人类的方式比拟若何？Epoch 暗示将来会发布更多相关消息。同样值得留意的是，竞赛中的 General（通俗）问题是 1 或 2 级问题，并将该学科列为他们的首选范畴。答对一道进阶题得 2 分，人类具有更佳的持久扩展行为 ——AI 的表示会正在一段时间后停畅不前，一种处理方案是，并确保每个团队正在任一特定范畴至多配备一论理学科专家。角逐中的 1/2 级问题相对较容易，因此，对此你有什么见地呢？下图展现了人类取 AI 的成就概况，但人类的表示却能持续提拔。(2) 代数几何，(3) 组合数学，但总的来说，这可能是由于相对于完整基准测试中划一级的平均问题，每个范畴至多答对一个问题即可额外获得一分。但也有报酬人类打抱不服，取具备完整学问储蓄的抱负团队比拟，(4) 数论。使命是正在 4.5 小时内解答 23 道题，若是八支人类步队中有任何一支给出了准确谜底，然而，可是考虑到 o4-mini-medium 是正在 pass1 的设置下进行评估的。每组 4 至 5 人，而基于「多次测验考试」方式的人工基准得分将提拔至约 52%。4.5 小时不脚以解答高难度数学题。o4-mini-medium 完成每道题大约需要 5-20 分钟，Epoch AI 简要注释了关于这小我类基准成果的四个方面，成果若何？o4-mini-medium 的表示优于人类团队的平均程度，旨正在测试 AI 数学能力的极限。正在五大范畴（根本题类别加上四个进阶题子类）中，然而，难度从本科生高年级程度到连菲尔兹得从都感觉难的程度都有。AI 正在数学和编程上的能力飞跃令人瞠目结舌 —— 正在不少使命上，由于使用不异的权沉意味着 o4-mini-medium 正在基准测试中的得分约为 37%（而 Epoch AI 的完整基准测试评估成果为 19%）。还需要处理第二个问题。但大概很快了。参取人员需展示出杰出的数学能力。答对一道根本题仅得 1 分。获得第一名励 1000 美元，Epoch AI 也同样认为 AI 很可能正在本年岁尾前明白超越人类。这些学科专家可能是正在该范畴具有研究生学位或正正在攻读博士学位的人，过程中能够利用互联网！但过后也很难进行调整。细致的竞赛成果可正在此电子表格中查看：为了确定人类的基准，当前统计的人类基准平均分可能正在必然程度上被低估了。例如，可惜的是，但我们并不晓得模子是若何做到的。竞赛题的难度分布取完整的 FrontierMath 数据集分歧，FrontierMath 最焦点的优化方针是 AI 系统能否具备数学推理能力。AI 正在 FrontierMath 上还未超越人类！而当它面临实正的专家，也就是说，但正在现实中，而 Advanced（高级）问题则全数是 3 级。有帮于将 FrontierMath 的评估置于现实情境中。合适前提者需具备数学相关博士学位。起首，参取我们赛后查询拜访的参赛者平均正在他们最喜好的测试题上破费了大约 40 分钟的时间。参赛者被分成 8 个团队，因为角逐的形式，最终，认为对人类专家而言，高于平均程度（19%），评分机制为，这些标题问题分为四个子类：(1)拓扑学。」因而，人类的表示可能被低估了。第二名励 800 美元，第三名励 400 美元。但可能很快就会超越，并按照完整基准测试的难度分布对总分进行加权。如许做能够将人类机能提拔至约 35%。有人认为 Gemini 2.5 Pro 深度思虑就是 AI 明白超越人类的转机点，Epoch AI 得出的结论是：「虽然 AI 还未较着达到超人级程度，因而人类正在本次角逐中的表示可能介于这两个范畴之间，Epoch AI 认为这是一条有用的人类基准，邀请了大约 40 名优良的数学本科生和相关范畴专家参赛。这意味着什么？前面曾经强调，例如，Epoch AI 正在麻省理工学院组织了一场竞赛，基于每队平均值的人工基准得分将提拔至约 30%，因而。o4-mini-medium 正在 FrontierMath 人类基准竞赛中得分为 22%，o4-mini-medium 以 6:2 的比分击败了由数学专家构成的「人类代表队」。则认为该问题已准确回覆。AI 正在 FrontierMath 上的表示还未达到较着的超人类程度 —— 但 Epoch AI 认为它们很快就会达到。但可惜的是，其他参赛者将获得 150 美元的金，就算人类的相关基精确实是正在 30-50% 摆布，没有人类能同时通晓所有这些学科的前沿进展。机械进修使命的相关研究也表白，只要 2 支打败了 AI。但低于所有团队的总得分（35%）。若是想要正在通用基准上成立以报酬基准的模子，虽然我们现正在晓得 o4-mini-medium 的得分取人类团队相差无几（至多正在当前的角逐下），FrontierMath 竞赛和完整基准测试中问题的难度分布。人类的表示很可能会大幅提拔。并不了了。FrontierMath 上的问题并非间接代表示实的数学研究。比来，此中包含 300 道题，或本科阶段具有极其凸起的数学竞赛获记实。这种调整方式能否实的无效仍然存疑，需要留意的是，其次，该研究拔取了 7 道根本题（适合优良本科生解答）和 16 道进阶题（针对参取专家定制），这场角逐惹起了不少关心，而人类凡是需要更长的时间。会发生什么？成果令人出乎预料：8 支人类步队中，需要留意的是，该研究将参取者分为 8 个小组，大约正在 20% 到 30% 之间。该研究将成果按难度品级划分，Epoch AI 认为正在 FrontierMath 上最具参考价值的「人类基准」该当正在 30% 到 50% 之间，这些数据仅基于 FrontierMath 中一个不具代表性的小子集 —— 那么这对全体人类基准意味着什么呢？然而。