评测

8 项评测

按领域整理模型与智能体的公开评测平台和基准测试,提供方法说明与比较范围。

综合能力

评测平台

通过多类基准任务比较模型综合能力,并提供 API 成本、速度和上下文等信息。

评测对象
特定模型版本与推理配置
评测方法
Intelligence Index 汇总多类任务成绩;成本与运行效率单独展示。

比较范围

指数采用英文任务,以文本为主,部分题目含图像。比较时应匹配指数版本和推理配置,图像与视频生成质量另有专门评测。

评测平台

依据用户对模型回答的偏好投票形成排名,可按任务类别查看结果及置信区间。

评测对象
模型在文本对话中的回答
评测方法
比较成对回答的用户偏好,并提供风格控制、样本量与不确定性信息。

比较范围

偏好分数不等于客观正确率,用户与问题分布会影响结果;比较时需核对任务类别与风格控制设置。

基准测试

覆盖推理、数据分析,以及编程、浏览器操作等多步任务,按版本提供分项成绩。

评测对象
模型在指定工具环境中的表现
评测方法
结合标准答案、任务产出检查与评分规则,评估问答和工具任务。

比较范围

各套件为单次运行;缺项与版本权重影响总分。当前权重说明存在差异,建议优先参考分项成绩。

评测平台

汇集模型在数学、编程和推理等任务中的表现,支持跨模型和时间比较。

评测对象
模型版本及各项基准成绩
评测方法
分别收录 Epoch 自行运行的评测与外部公开结果,并提供来源和部分运行记录。

比较范围

结果并非全部由 Epoch 独立测得;比较时应核对执行方、基准版本、配置与不确定性。

推理与知识

基准测试

原版用 2,500 道跨学科难题评估专业知识和推理能力。HLE-Rolling 持续修订题库,HLE-Diamond 精选 1,000 道经复核的题目。

评测对象
模型对文本与图像学术问题的回答
评测方法
根据参考答案判分。原版报告正确率、置信区间及模型自报置信度的校准误差。

比较范围

在同一题集内比较,并核对是否仅含文本题、是否允许使用工具,以及裁判和推理设置。

编程与终端

基准测试

在隔离终端环境中测试智能体完成复杂任务的能力,同时列出模型与执行框架。

评测对象
模型与终端智能体的组合
评测方法
依据任务验证器计算完成率,并提供成本、资源用量和置信区间。

比较范围

独立榜使用 4.1,AA Intelligence Index v5.0.1 的编程分项使用 4.0。比较同一版本的成绩时,还需核对执行框架、资源限额与试验次数。

工具与智能体

基准测试

评估智能体在桌面应用和浏览器中完成长程工作流的能力,区分完整完成与部分得分。

评测对象
电脑操作智能体及其交互配置
评测方法
检查实际操作后的任务状态,并报告完成情况、步骤、时间与成本。

比较范围

模型覆盖仍有限。原版与 2.x、完整与离线任务集须分别比较;核对交互配置与步数预算,并区分完成率与部分得分。

评测平台

利用真实会话中的反馈、纠错和工具执行信号,评估调度模型相对基线的改善。

评测对象
Arena 环境中的调度模型
评测方法
采用因果估计汇总相对改善,展示各类信号与置信区间。

比较范围

百分比表示相对基线的净改善,不是任务成功率;结果针对调度模型,不能直接当作商业智能体产品排名。

搜索全部时间线中的名称、机构或关键词。