OpenAI被曝悄然调整GPT-6 Astra评测数据,部分指标曾“逆势”优化

PANews 9月5日,据《财富》报道,OpenAI已正式发布GPT-6 Astra,并称其为“目前全球最智能、且对齐程度最高的模型”,不过OpenAI已多次调整模型评测数据,部分调整使Astra表现更佳,同时部分竞争对手模型的成绩出现下降。其中,Astra的内部“幻觉率”最初公布为4.2%,后曾被下调至2%,随后又恢复至4.2%;Anthropic的Fable 5.1在FrontierMath Tier 4中的成绩也曾从87.8%降至78%,目前已恢复至83%。此外,Astra的ARC-AGI-3成绩则从发布前的98.6%提升至当前页面显示的99.99%。

OpenAI回应称,将高度重视评测准确性,不同模型检查点、工具配置、推理等级及测试运行均可能造成几个百分点的波动,此次调整是为了确保数据能够更准确反映模型性能。市场分析指出,人工智能行业内长期存在所谓“Benchmaxxing”现象,即通过反复调整测试条件、运行方式等来最大化基准测试成绩。

分享至:

作者:PA一线

本内容只为提供市场信息,不构成投资建议。

关注PANews官方账号,一起穿越牛熊
PANews APP
Robinhood Chain单日手续费收入创下612万美元新高
PANews 快讯