GPT-6 Astra在机械臂任务中的表现评估
本文为Claude Fable 5与Fable 5.1对比测试的后续研究。
我们让OpenAI的GPT-6 Astra在相同条件下控制YAM机械臂，遵循同一Inspect Robots智能体策略，完成两项相同任务：
- "将桌上的红色方块拿起，放入碗中。"
- "抓住圆形蓝色拼图块中心的旋钮，将其嵌入面板上对应的圆形凹槽。"
在碗中放方块任务中，Astra在20次测试里成功19次，而Fable 5.1为20次成功8次，Fable 5仅20次成功1次；单次测试耗时方面，Astra平均2.5分钟，Fable 5.1为6.8分钟；单次测试预估成本Astra为0.94美元，Fable 5.1则为2.12美元。
拼图任务的结果则截然不同：Astra在20次测试中仅成功2次，与Fable 5.1持平。两款模型都会在到达凹槽后的最后一步停滞；单次成本Astra为1.36美元，Fable 5.1为2.18美元。
方块入碗任务：展示各模型表现最佳的单次测试（优先看完成阶段，阶段相同则看耗时），所有视频以相同倍速播放，计时器显示扣除思考停顿后的实际耗时。
Astra完成碗中放方块任务的成功率更高，单次成本约为竞品的一半
大圆点代表各组测试的平均值；淡圆点代表单次测试结果（完成任务记为100，未完成记为0）及对应成本。
评分标准
所有测试均由人工评分，记录测试达到的最高阶段，未完成的测试也会记录其进展程度。评分标准与此前Fable测试报告一致：
| 分数 | 阶段描述 |
|---|---|
| 0 | 未做出有目的性的动作 |
| 1 | 接触到目标物体 |
| 2 | 将物体完全抬离桌面 |
| 3 | 将物体移动至目标位置上方 |
| 4 | 将物体放置到最终位置 |
Astra几乎能每次完成方块入碗任务；拼图任务则与Fable一样卡在最后一步
各模型达到不同阶段的测试占比；每行的n代表对应单元格中的测试次数。
测试结果
| 任务 | 模型 | 平均阶段 | 完成次数 | 完成率 | 单次输出令牌数 | 预估单次成本 | 单次耗时（分钟） |
|---|---|---|---|---|---|---|---|
| 方块入碗 | Fable 5 | 1.30 | 1 / 20 | 5% | 19.2k | $2.69 | 8.2 |
| 方块入碗 | Fable 5.1 | 2.40 | 8 / 20 | 40% | 12.9k | $2.12 | 6.8 |
| 方块入碗 | GPT-6 Astra | 3.95 | 19 / 20 | 95% | 2.1k | $0.94 | 2.5 |
| 拼图入槽 | Fable 5 | 1.50 | 0 / 20 | 0% | 16.3k | $2.63 | 7.9 |
| 拼图入槽 | Fable 5.1 | 2.35 | 2 / 20 | 10% | 10.5k | $2.18 | 5.9 |
| 拼图入槽 | GPT-6 Astra | 2.00 | 2 / 20 | 10% | 2.7k | $1.36 | 3.4 |
所有测试记录
本次研究共统计120次测试，详情如下：
| 任务 | 模型 | 得分 | 耗时（分钟） | 输出令牌数 | 文字记录 | 视频 | 重跑文件 |
|---|---|---|---|---|---|---|---|
| 方块入碗 | GPT-6 Astra | 4 | 1.7 | 1,533 | 查看 | 观看 | 下载 |
| 方块入碗 | GPT-6 Astra | 4 | 1.7 | 1,734 | 查看 | 观看 | 下载 |
| 方块入碗 | GPT-6 Astra | 4 | 1.7 | 1,573 | 查看 | 观看 | 下载 |
| 方块入碗 | GPT-6 Astra | 4 | 1.8 | 1,669 | 查看 | 观看 | 下载 |
| 方块入碗 | GPT-6 Astra | 4 | 1.9 | 1,570 | 查看 | 观看 | 下载 |
| 方块入碗 | GPT-6 Astra | 4 | 2.1 | 1,491 | 查看 | 观看 | 下载 |
| 方块入碗 | GPT-6 Astra | 4 | 2.1 | 2,153 | 查看 | 观看 | 下载 |
| 方块入碗 | GPT-6 Astra | 4 | 2.1 | 1,782 | 查看 | 观看 | 下载 |
| 方块入碗 | GPT-6 Astra | 4 | 2.2 | 2,034 | 查看 | 观看 | 下载 |
| 方块入碗 | GPT-6 Astra | 4 | 2.5 | 2,441 | 查看 | 观看 | 下载 |
| 方块入碗 | GPT-6 Astra | 4 | 2.5 | 2,625 | 查看 | 观看 | 下载 |
| 方块入碗 | GPT-6 Astra | 4 | 2.5 | 1,697 | 查看 | 观看 | 下载 |
| 方块入碗 | GPT-6 Astra | 4 | 2.8 | 2,434 | 查看 | 观看 | 下载 |
| 方块入碗 | GPT-6 Astra | 4 | 2.9 | 2,966 | 查看 | 观看 | 下载 |
| 方块入碗 | GPT-6 Astra | 4 | 3.2 | 1,627 | 查看 | 观看 | 下载 |
| 方块入碗 | GPT-6 Astra | 4 | 3.3 | 2,768 | 查看 | 观看 | 下载 |
| 方块入碗 | GPT-6 Astra | 4 | 3.3 | 2,777 | 查看 | 观看 | 下载 |
| 方块入碗 | GPT-6 Astra | 4 | 3.4 | 2,185 | 查看 | 观看 | 下载 |
| 方块入碗 | GPT-6 Astra | 4 | 3.5 | 1,979 | 查看 | 观看 | 下载 |
| 方块入碗 | GPT-6 Astra | 3 | 3.5 | 2,428 | 查看 | 观看 | 下载 |
| 方块入碗 | Fable 5 | 4 | 5.2 | 13,120 | 查看 | 观看 | 下载 |
| 方块入碗 | Fable 5 | 3 | 7.1 | 14,048 | 查看 | 观看 | 下载 |
| 方块入碗 | Fable 5 | 2 | 5.0 | 10,663 | 查看 | 观看 | 下载 |
| 方块入碗 | Fable 5 | 2 | 8.7 | 17,859 | 查看 | 观看 | 下载 |
| 方块入碗 | Fable 5 | 2 | 9.1 | 15,064 | 查看 | 观看 | 下载 |
| 方块入碗 | Fable 5 | 1 | 4.7 | 9,096 | 查看 | 观看 | 下载 |
| 方块入碗 | Fable 5 | 1 | 5.8 | 13,800 | 查看 | 观看 | 下载 |
| 方块入碗 | Fable 5 | 1 | 5.8 | 9,954 | 查看 | 观看 | 下载 |
| 方块入碗 | Fable 5 | 1 | 7.1 | 16,666 | 查看 | 观看 | 下载 |
| 方块入碗 | Fable 5 | 1 | 7.2 | 18,165 | 查看 | 观看 | 下载 |
| 方块入碗 | Fable 5 | 1 | 7.2 | 14,719 | 查看 | 观看 | 下载 |
| 方块入碗 | Fable 5 | 1 | 8.4 | 24,975 | 查看 | 观看 | 下载 |
| 方块入碗 | Fable 5 | 1 | 8.7 | 17,436 | 查看 | 观看 | 下载 |
| 方块入碗 | Fable 5 | 1 | 8.8 | 21,388 | 查看 | 观看 | 下载 |
| 方块入碗 | Fable 5 | 1 | 9.6 | 30,566 | 查看 | 观看 | 下载 |
| 方块入碗 | Fable 5 | 1 | 10.8 | 28,784 | 查看 | 观看 | 下载 |
| 方块入碗 | Fable 5 | 1 | 11.7 | 27,810 | 查看 | 观看 | 下载 |
| 方块入碗 | Fable 5 | 1 | 14.8 | 35,211 | 查看 | 观看 | 下载 |
| 方块入碗 | Fable 5 | 0 | 8.7 | 17,764 | 查看 | 观看 | 下载 |
| 方块入碗 | Fable 5 | 0 | 9.7 | 27,582 | 查看 | 观看 | 下载 |
| 方块入碗 | Fable 5.1 | 4 | 4.2 | 9,124 | 查看 | 观看 | 下载 |
| 方块入碗 | Fable 5.1 | 4 | 4.8 | 9,779 | 查看 | 观看 | 下载 |
| 方块入碗 | Fable 5.1 | 4 | 5.0 | 11,359 | 查看 | 观看 | 下载 |
| 方块入碗 | Fable 5.1 | 4 | 5.1 | 8,526 | 查看 | 观看 | 下载 |
| 方块入碗 | Fable 5.1 | 4 | 5.6 | 10,998 | 查看 | 观看 | 下载 |
| 方块入碗 | Fable 5.1 | 4 | 6.5 | 7,031 | 查看 | 观看 | 下载 |
| 方块入碗 | Fable 5.1 | 4 | 6.7 | 15,901 | 查看 | 观看 | 下载 |
| 方块入碗 | Fable 5.1 | 4 | 7.5 | 8,964 | 查看 | 观看 | 下载 |
| 方块入碗 | Fable 5.1 | 3 | 5.7 | 14,477 | 查看 | 观看 | 下载 |
| 方块入碗 | Fable 5.1 | 3 | 8.6 | 20,110 | 查看 | 观看 | 下载 |
| 方块入碗 | Fable 5.1 | 2 | 7.3 | 20,022 | 查看 | 观看 | 下载 |
| 方块入碗 | Fable 5.1 | 2 | 18.9 | 14,526 | 查看 | 观看 | 下载 |
| 方块入碗 | Fable 5.1 | 1 | 5.7 | 13,265 | 查看 | 观看 | 下载 |
| 方块入碗 | Fable 5.1 | 1 | 5.9 | 18,073 | 查看 | 观看 | 下载 |
| 方块入碗 | Fable 5.1 | 1 | 6.0 | 13,070 | 查看 | 观看 | 下载 |
| 方块入碗 | Fable 5.1 | 1 | 6.6 | 11,506 | 查看 | 观看 | 下载 |
| 方块入碗 | Fable 5.1 | 1 | 7.1 | 11,404 | 查看 | 观看 | 下载 |
| 方块入碗 | Fable 5.1 | 1 | 8.5 | 17,760 | 查看 | 观看 | 下载 |
| 方块入碗 | Fable 5.1 | 0 | 4.5 | 8,979 | 查看 | 观看 | 下载 |
| 方块入碗 | Fable 5.1 | 0 | 5.2 | 13,394 | 查看 | 观看 | 下载 |
| 拼图入槽 | GPT-6 Astra | 4 | 2.8 | 2,229 | 查看 | 观看 | 下载 |
| 拼图入槽 | GPT-6 Astra | 4 | 3.3 | 1,967 | 查看 | 观看 | 下载 |
| 拼图入槽 | GPT-6 Astra | 3 | 2.3 | 2,581 | 查看 | 观看 | 下载 |
| 拼图入槽 | GPT-6 Astra | 3 | 2.6 | 2,805 | 查看 | 观看 | 下载 |
| 拼图入槽 | GPT-6 Astra | 3 | 2.6 | 2,470 | 查看 | 观看 | 下载 |
| 拼图入槽 | GPT-6 Astra | 3 | 2.9 | 2,978 | 查看 | 观看 | 下载 |
| 拼图入槽 | GPT-6 Astra | 3 | 3.0 | 2,937 | 查看 | 观看 | 下载 |
| 拼图入槽 | GPT-6 Astra | 3 | 3.1 | 2,932 | 查看 | 观看 | 下载 |
| 拼图入槽 | GPT-6 Astra | 3 | 3.6 | 2,538 | 查看 | 观看 | 下载 |
| 拼图入槽 | GPT-6 Astra | 3 | 3.6 | 3,417 | 查看 | 观看 | 下载 |
| 拼图入槽 | GPT-6 Astra | 2 | 3.9 | 3,142 | 查看 | 观看 | 下载 |
| 拼图入槽 | GPT-6 Astra | 1 | 2.2 | 2,458 | 查看 | 观看 | 下载 |
| 拼图入槽 | GPT-6 Astra | 1 | 2.8 | 2,464 | 查看 | 观看 | 下载 |
| 拼图入槽 | GPT-6 Astra | 1 | 3.0 | 2,117 | 查看 | 观看 | 下载 |
| 拼图入槽 | GPT-6 Astra | 1 | 3.1 | 2,901 | 查看 | 观看 | 下载 |
| 拼图入槽 | GPT-6 Astra | 1 | 3.9 | 3,041 | 查看 | 观看 | 下载 |
| 拼图入槽 | GPT-6 Astra | 1 | 10.2 | 2,491 | 查看 | 观看 | 下载 |
| 拼图入槽 | GPT-6 Astra | 0 | 2.6 | 3,025 | 查看 | 观看 | 下载 |
| 拼图入槽 | GPT-6 Astra | 0 | 2.8 | 2,916 | 查看 | 观看 | 下载 |
| 拼图入槽 | GPT-6 Astra | 0 | 3.3 | 3,161 | 查看 | 观看 | 下载 |
| 拼图入槽 | Fable 5 | 3 | 5.4 | 12,599 | 查看 | 观看 | 下载 |
| 拼图入槽 | Fable 5 | 3 | 6.6 | 11,044 | 查看 | 观看 | 下载 |
| 拼图入槽 | Fable 5 | 3 | 6.7 | 11,726 | 查看 | 观看 | 下载 |
| 拼图入槽 | Fable 5 | 3 | 6.8 | 10,743 | 查看 | 观看 | 下载 |
| 拼图入槽 | Fable 5 | 3 | 8.8 | 14,855 | 查看 | 观看 | 下载 |
| 拼图入槽 | Fable 5 | 2 | 7.0 | 19,149 | 查看 | 观看 | 下载 |
| 拼图入槽 | Fable 5 | 2 | 9.1 | 22,592 | 查看 | 观看 | 下载 |
| 拼图入槽 | Fable 5 | 1 | 4.5 | 9,620 | 查看 | 观看 | 下载 |
| 拼图入槽 | Fable 5 | 1 | 4.7 | 9,942 | 查看 | 观看 | 下载 |
| 拼图入槽 | Fable 5 | 1 | 5.3 | 13,629 | 查看 | 观看 | 下载 |
| 拼图入槽 | Fable 5 | 1 | 5.8 | 16,029 | 查看 | 观看 | 下载 |
| 拼图入槽 | Fable 5 | 1 | 6.6 | 16,460 | 查看 | 观看 | 下载 |
| 拼图入槽 | Fable 5 | 1 | 7.3 | 10,544 | 查看 | 观看 | 下载 |
| 拼图入槽 | Fable 5 | 1 | 8.3 | 25,603 | 查看 | 观看 | 下载 |
| 拼图入槽 | Fable 5 | 1 | 8.3 | 23,105 | 查看 | 观看 | 下载 |
| 拼图入槽 | Fable 5 | 1 | 9.1 | 20,718 | 查看 | 观看 | 下载 |
| 拼图入槽 | Fable 5 | 1 | 15.1 | 29,746 | 查看 | 观看 | 下载 |
| 拼图入槽 | Fable 5 | 1 | 17.2 | 11,577 | 查看 | 观看 | 下载 |
| 拼图入槽 | Fable 5 | 0 | 6.2 | 18,229 | 查看 | 观看 | 下载 |
| 拼图入槽 | Fable 5 | 0 | 10.0 | 18,386 | 查看 | 观看 | 下载 |
| 拼图入槽 | Fable 5.1 | 4 | 5.2 | 10,618 | 查看 | 观看 | 下载 |
| 拼图入槽 | Fable 5.1 | 4 | 7.6 | 10,306 | 查看 | 观看 | 下载 |
| 拼图入槽 | Fable 5.1 | 3 | 4.1 | 9,993 | 查看 | 观看 | 下载 |
| 拼图入槽 | Fable 5.1 | 3 | 5.0 | 11,549 | 查看 | 观看 | 下载 |
| 拼图入槽 | Fable 5.1 | 3 | 5.4 | 10,450 | 查看 | 观看 | 下载 |
| 拼图入槽 | Fable 5.1 | 3 | 6.0 | 10,417 | 查看 | 观看 | 下载 |
| 拼图入槽 | Fable 5.1 | 3 | 6.5 | 10,725 | 查看 | 观看 | 下载 |
| 拼图入槽 | Fable 5.1 | 3 | 7.1 | 10,312 | 查看 | 观看 | 下载 |
| 拼图入槽 | Fable 5.1 | 3 | 7.2 | 11,048 | 查看 | 观看 | 下载 |
| 拼图入槽 | Fable 5.1 | 3 | 7.4 | 11,978 | 查看 | 观看 | 下载 |
| 拼图入槽 | Fable 5.1 | 3 | 7.5 | 12,251 | 查看 | 观看 | 下载 |
| 拼图入槽 | Fable 5.1 | 2 | 3.7 | 9,362 | 查看 | 观看 | 下载 |
| 拼图入槽 | Fable 5.1 | 2 | 4.5 | 8,946 | 查看 | 观看 | 下载 |
| 拼图入槽 | Fable 5.1 | 2 | 4.9 | 9,432 | 查看 | 观看 | 下载 |
| 拼图入槽 | Fable 5.1 | 2 | 6.6 | 12,046 | 查看 | 观看 | 下载 |
| 拼图入槽 | Fable 5.1 | 1 | 3.9 | 9,341 | 查看 | 观看 | 下载 |
| 拼图入槽 | Fable 5.1 | 1 | 4.3 | 9,597 | 查看 | 观看 | 下载 |
| 拼图入槽 | Fable 5.1 | 1 | 5.5 | 12,735 | 查看 | 观看 | 下载 |
| 拼图入槽 | Fable 5.1 | 1 | 10.0 | 9,111 | 查看 | 观看 | 下载 |
| 拼图入槽 | Fable 5.1 | 0 | 6.5 | 10,359 | 查看 | 观看 | 下载 |
技术参数
| 硬件载体 | 双机械臂I2RT YAM，每臂6自由度，配备平行夹爪 |
|---|---|
| 控制方式 | 末端执行器绝对位姿（move_to）：每臂的x、y、z坐标，偏航角、俯仰角、翻滚角，以及夹爪状态。机器人通过逆运动学（IK）将位姿转换为关节角度。 |
| 观测条件 | 每次动作获取三个视角的画面（顶部、左腕、右腕），以及本体感知状态 |
| 策略设置 | agent策略，中等思考强度，最多调用大语言模型20次，速度上限25%，默认开启安全防护机制 |
| 测试模型 | gpt-6-astra、claude-fable-5、claude-fable-5-1 |
| 测试框架 | Inspect Robots0.58.0 |
| 测试安排 | 每个模型每项任务测试20次；拼图任务所有模型均在4号设备上完成；方块入碗任务中，Fable系列模型在3号设备完成，Astra在1号设备完成 |
| 令牌与成本统计 | 统计传输层面的请求与响应令牌数，非计费令牌数；成本按公开标价计算，三款模型的输入/输出令牌单价均为每百万10美元/50美元 |
研究局限性
- Astra的测试在Fable系列测试结束两天后进行，未与后者交叉开展。拼图任务的对比在同一设备上完成，但方块入碗任务并非如此：Fable系列的方块入碗测试在3号设备进行，而该设备在Astra测试时不可用。
- 评分由人工完成，且评分者知晓被测模型，因此结果可能存在无意识偏差。
- 成本按公开标价计算。Anthropic的请求未启用提示词缓存；OpenAI自动缓存了约五分之一的Astra输入内容，但本次统计未扣除这部分缓存带来的优惠，因此Astra的实际成本可能低于本次预估。
- 每次测试后由人工重置物体位置，且所有模型仅在中等思考强度下运行。