Artificial Analysis
Index v5.0.1通过多类基准任务比较模型综合能力,并提供 API 成本、速度和上下文等信息。
- 评测对象
- 特定模型版本与推理配置
- 评测方法
- Intelligence Index 汇总多类任务成绩;成本与运行效率单独展示。
比较范围
指数采用英文任务,以文本为主,部分题目含图像。比较时应匹配指数版本和推理配置,图像与视频生成质量另有专门评测。
按领域整理模型与智能体的公开评测平台和基准测试,提供方法说明与比较范围。
通过多类基准任务比较模型综合能力,并提供 API 成本、速度和上下文等信息。
指数采用英文任务,以文本为主,部分题目含图像。比较时应匹配指数版本和推理配置,图像与视频生成质量另有专门评测。
依据用户对模型回答的偏好投票形成排名,可按任务类别查看结果及置信区间。
偏好分数不等于客观正确率,用户与问题分布会影响结果;比较时需核对任务类别与风格控制设置。
覆盖推理、数据分析,以及编程、浏览器操作等多步任务,按版本提供分项成绩。
各套件为单次运行;缺项与版本权重影响总分。当前权重说明存在差异,建议优先参考分项成绩。
汇集模型在数学、编程和推理等任务中的表现,支持跨模型和时间比较。
结果并非全部由 Epoch 独立测得;比较时应核对执行方、基准版本、配置与不确定性。
原版用 2,500 道跨学科难题评估专业知识和推理能力。HLE-Rolling 持续修订题库,HLE-Diamond 精选 1,000 道经复核的题目。
在同一题集内比较,并核对是否仅含文本题、是否允许使用工具,以及裁判和推理设置。
在隔离终端环境中测试智能体完成复杂任务的能力,同时列出模型与执行框架。
独立榜使用 4.1,AA Intelligence Index v5.0.1 的编程分项使用 4.0。比较同一版本的成绩时,还需核对执行框架、资源限额与试验次数。
评估智能体在桌面应用和浏览器中完成长程工作流的能力,区分完整完成与部分得分。
模型覆盖仍有限。原版与 2.x、完整与离线任务集须分别比较;核对交互配置与步数预算,并区分完成率与部分得分。
利用真实会话中的反馈、纠错和工具执行信号,评估调度模型相对基线的改善。
百分比表示相对基线的净改善,不是任务成功率;结果针对调度模型,不能直接当作商业智能体产品排名。