核心结论
单任务成本
完成同一任务套件的相对成本,经过指数化,使可比系统落在 100 附近。数值越低越好。
可比系统 ≈ 100。示意性数据。
越低越好
变化趋势
历次迭代中的单任务成本,以首次发布为基准指数化。随着底层结构不断改进,这种方法也在变得更便宜。
数值越低越好。示意性数据。
单位美元产出
单位支出下完成的有效任务量,经过指数化,使 CommandAGI 落在 100,而可比系统落在其下。数值越高越好。
CommandAGI = 100。示意性数据。
越高越好
我们将如何证明
与我们对透明度的一贯信念一致,我们不会要求你凭信任接受这些数字。一项独立的基准测试研究正在进行;完成后,我们会在此发布任务套件、方法论与原始结果,并更新这些图表以与之匹配。
† 本页数据为 内部估算与示意性占位数据,并非同行评审的测量结果。独立基准测试正在进行中,完成后我们会在此发布方法与结果。