Open LLM Leaderboard 是最大的大模型和数据集社区 HuggingFace 推出的开源大模型排行榜单，基于 Eleuther AI Language Model Evaluation Harness（Eleuther AI语言模型评估框架）封装。
由于社区在发布了大量的大型语言模型（LLM）和聊天机器人之后，往往伴随着对其性能的夸大宣传，很难过滤出开源社区取得的真正进展以及目前的最先进模型。因此，Hugging Face 使用 Eleuther AI语言模型评估框架对模型进行四个关键基准测试评估。这是一个统一的框架，用于在大量不同的评估任务上测试生成式语言模型。
Open LLM Leaderboard 的评估基准
- AI2 推理挑战（25-shot）：一组小学科学问题
- HellaSwag（10-shot）：一个测试常识推理的任务，对人类来说很容易（大约95%），但对SOTA模型来说具有挑战性。
- MMLU（5-shot）- 用于测量文本模型的多任务准确性。测试涵盖57个任务，包括基本数学、美国历史、计算机科学、法律等等。
- TruthfulQA（0-shot）- 用于测量模型复制在在线常见虚假信息中的倾向性。
数据统计
数据评估
本站太极导航提供的Hugging Face都来源于网络，不保证外部链接的准确性和完整性，同时，对于该外部链接的指向，不由太极导航实际控制，在2024年5月17日 下午5:57收录时，该网页上的内容，都属于合规合法，后期网页的内容如出现违规，可以直接联系网站管理员进行删除，太极导航不承担任何责任。
相关导航
AskYoutube是一个人工智能工具，允许用户询问、搜索和发现来自Youtube的内容 Discover the power of AI with AskYoutube. Instantly find answers to your queries without needing to watch all the Youtube videos. Simply type in your question and get the most accurate and concise information. AskYoutube - making video knowledge accessible at your fingertips!
Ctrl + D 或 ⌘ + D 收藏本站到浏览器书签栏。
