AlpacaEval
指令跟随能力的自动评测榜
AlpacaEval 是一个面向指令跟随能力的自动评测器与排行榜，官方给出的定位直译过来就是给指令跟随语言模型做自动评价。它用大模型作为自动标注器，把待测模型的输出与参考响应放在一起比较，从而产出可以横向对照的胜率数字。页面结构很朴素，一张榜单加一段方法说明，没有多余模块，打开速度也很快。对正在选型或发布模型的团队来说，这样一个公开可访问的榜单提供了一个可以直接引用的参考点。
深度介绍
AlpacaEval详细介绍
两个版本与三种筛选视图
榜单支持 AlpacaEval 与 AlpacaEval 2.0 两个版本切换，同一个模型在两个版本下可以分别查看。视图上提供 Community、Verified 和 Minimal 三种筛选：社区投稿的条目、经过验证的条目、只保留最小必要的条目，便于按可信度取数。榜单里还保留了基线行与自动标注器两行作为参照，读数时可以拿它们当尺子。配合每行附带的仓库链接，结果基本都能追回到产出它的模型来源。
长度控制胜率与自曝的局限
长度控制胜率是这套评测最值得一提的设计，它在统计层面削弱长度偏差，避免长回答天然占便宜。官方同时把话讲在前面：该指标可能对在其输出上微调过的模型更有利。页面正文里也直接写明它不是全面的评测、不是金标准，并指出胜率与回答长度相关，人类标注同样存在偏好。把软肋写进方法说明而不是藏起来，反而让读者更容易判断这个分数该在什么场合使用。
横评、投稿与偏差研究三类场景
典型用法有三类。模型发布方给新模型跑一次评测，拿到一个可以对外引用的数字；研究者用它做横向比较，或者专门研究长度偏差这类评测方法问题；社区成员按投稿流程把自己关心的模型加进榜单。评测基于 AlpacaFarm 评测集，覆盖通用指令跟随场景，适合对日常对话与常见任务做比较。因为过程公开可复现，教学场景里也常被当作演示材料，用来讲清一次完整的模型评测流程。
开源免费与投稿零门槛
项目开源发布，使用不需要付费，评测集、代码和标注方法都在仓库里可以查到，本地跑一遍评测也不会产生服务费用。投稿三步就能完成：跑评测集、做自动标注、提交 PR，配合文档与贡献说明即可上手。社区讨论走 Discord 频道，遇到问题可以先在那里提问。至于榜单数字是否适合你的用途，建议连同官方给出的局限说明一起判断，不适用时再考虑其他评测方式。
仓库、文档与社区三个入口
资源集中在 GitHub 仓库里：README 承担了项目说明与文档入口，贡献章节写清了投稿要求，配图与实现代码同仓存放，方便对照阅读。榜单页本身只是一个轻量入口，详细材料都在仓库和文档中，Discord 则是获取他人经验的地方。项目方还在招募新的评测器，方向包括开源的人类真值标注与比较指标、更难的指令分布以及安全测试，感兴趣的贡献者可以按仓库里的说明参与进来。
三步把模型投进榜单
上手路径很短。第一步在本地或仓库环境里跑通评测集，确认能把模型输出接进来；第二步用自动标注器完成比较，产出胜率与长度控制胜率两项数字；第三步按贡献说明提交 PR，通过之后模型就会出现在榜单上。只想看结果的人更简单，直接打开榜单页，用三种筛选和两个版本切换到自己关心的视图即可。整个过程不需要申请密钥，也不依赖付费服务，跟着文档走一遍就能完成。
产品特点
核心功能与独有价值
局限说明写进正文
方法说明后面直接跟了一段局限：它不是全面的评测、不是金标准，胜率与长度相关，人类标注也存在偏好。读者在引用数字之前，就能先知道这套评测适合什么场合、不适合什么场合。
长度偏差做进指标里
长度控制胜率专门用来削弱长度偏差，避免长回答天然占便宜；同时官方提示该指标可能对在其输出上微调过的模型更有利。两句话一起给出，取数时的判断会更从容，也不容易被误读。
投稿只需要三步
跑评测集、做自动标注、提交 PR，三步完成后新模型即可进入榜单，全程走开源协作流程，不需要商务对接也不需要付费席位，社区成员同样能把关注的模型加进来参与比较。
榜单页面极其轻量
首页体量非常小，没有沉重的前端框架和多余模块，榜单与方法说明就是全部内容，打开和引用都很方便，也说明它把主要材料都放在了仓库与文档里，而不是堆在页面上。
最近动态
重要更新
两个版本与三种筛选可用
榜单目前支持 AlpacaEval 与 2.0 两个版本切换，并提供 Community、Verified、Minimal 三种筛选视图，基线与自动标注器两行作为参照保留，读数时可按需选择视图，具体口径以官网公示为准。
长度控制胜率仍是主列
长度控制胜率仍在榜单中单独列出，用于削弱长度偏差，页面同时提示该指标可能对在其输出上微调过的模型更有利，引用相关数字前建议连同这段说明一起阅读，避免过度解读。
投稿流程与社区入口开放
投稿仍是跑评测集、自动标注、提交 PR 三步，文档与贡献说明都写在仓库里，Discord 频道用于社区交流，项目方同时在招募开源真值标注与安全测试方向的新评测器，参与方式以官网公示为准。
产品总结
AlpacaEval 是一个面向指令跟随能力的自动评测器与排行榜，官方给出的定位一句话就说清了用途：给指令跟随语言模型做自动评价。它用大模型作为自动标注器，把待测模型的输出与参考响应放在一起比较，产出可以横向对照的胜率数字。页面结构朴素，一张榜单加一段方法说明，没有多余模块，打开速度也很快。对正在选型或发布模型的团队来说，这样一个公开可访问的榜单提供了可以直接引用的参考点。 评测设计上有两个值得留意的地方。一是长度控制胜率，它在统计层面削弱长度偏差，避免长回答天然占优；二是页面把局限写在方法说明里，明确表示它不是全面的评测、不是金标准，胜率与回答长度相关，人类标注同样存在偏好，并提示该指标可能对在其输出上微调过的模型更有利。榜单支持 AlpacaEval 与 2.0 两个版本切换，提供社区投稿、已验证与最小必要三种筛选视图，基线与自动标注器两行作为参照。 使用与参与的门槛都很低。项目开源发布，评测集、代码与标注方法都在仓库里可以查到，本地运行不产生服务费用；想把自己关心的模型加进榜单，只需跑评测集、做自动标注、提交 PR 三步。资源集中在仓库的说明与贡献章节，社区讨论走 Discord，项目方还在招募真值标注与安全测试方向的新评测器。具体口径与最新内容以官网公示为准。
- 产品类型
- 面向指令跟随能力的开源自动评测与排行榜
- 支持平台
- 网页版
- 资费模式
- 项目开源免费使用，评测集与标注方法随仓库公开，具体以官网公示为准。
核验信息
参考文章与数据来源
本页内容整理自 AlpacaEval 官方公开信息：榜单页的定位说明、两个评测版本与三种筛选视图、长度控制胜率的说明与局限提示、关于章节的评测方法描述、投稿流程与社区入口；GitHub 仓库中的项目说明、贡献章节、文档目录与实现代码。以上信息于 2026-10-04 完成核对，评测口径与最新内容以官网公示为准。
- 其他AlpacaEval 榜单主页
- 其他GitHub 仓库主页
- 官方文档项目说明文档
- 官方文档投稿与贡献指引
- 官方文档仓库文档目录
- 其他Tatsu Lab 组织页
用户体验调查
AlpacaEval介绍页面对您是否有帮助？