AI All You Need

第 5 课 怎么看榜单:盲测分和基准分有什么不同

榜单不是越靠前就越适合你。先搞清楚它在量什么。

本站放的榜单主要有两类,它们量的东西不一样。

网友盲测(Arena)基准测试(Epoch 等)
怎么测网友看两个匿名 AI 的回答,投票选更好的让模型做一套有标准答案的题
量什么好不好用、合不合人的口味能力上限,尤其是难题
缺点受投票人群和问题类型影响题目之外的能力测不出来

看榜的四个习惯

  1. 看你要用的那一项。总榜第一不一定最会写代码,先看按用途的分榜。
  2. 分差小就当打平。榜单都有误差,差几分没有意义,所以页面上会写 ±。
  3. 看更新日期。AI 榜单几周就变一次,半年前的榜基本没用。
  4. 看能不能用。排第一但你用不了,不如排第五但国内能直接用的。

别只看一个榜

榜单页里还列了别的榜:有的看实际调用量,有的只比写代码,有的专门测中文。几个榜都靠前的模型,基本不会差。

本课由 AI 辅助撰写,再按公开资料核对,具体操作以各家官方文档为准。

← 上一课:AI 为什么会瞎编,怎么防 全部教程 下一课:AI 降智测试:鹈鹕测试(醍醐测试)和糖果题 →