RRepoGEO

REPOGEO 报告 · LITE

openai/simple-evals

默认分支 main · commit 652c89d0 · 扫描时间 2026/5/20 18:58:15

星标 4,490 · Fork 487

本仓库扫描历史

下方为分数趋势（含全部就绪扫描；左旧右新，可横向滚动）。表格明细默认折叠，展开后每页 10 条，最新在上。

分数趋势（左 → 右：旧 → 新）

共 2 条就绪扫描。点击下方按钮展开表格（每页 10 条，可翻页）。

AI 可见性总分
30 /100
亟需修复
品类召回
0 / 2
在所有问题中均未被推荐
规则结果
通过 1 · 警告 0 · 失败 1
客观元数据检查
AI 认识你的名字
3 / 3
直接询问时，AI 是否点名你的仓库
如何阅读这份报告

行动计划告诉你下一步要做什么——按影响力排序、可直接复制粘贴的修改。品类可见性是真正的 GEO 测试：当用户向 AI 提一个不带品牌、本应让 openai/simple-evals 浮出水面的问题时，AI 是真的推荐了你，还是推荐了你的竞品？客观检查验证 AI 引擎最先权衡的那些元数据信号。自指检查判断 AI 是否还认识你的名字。

行动计划 — 可复制粘贴的修复

2 条由 gemini-2.5-flash 生成、按优先级排序的修改。修完后请把对应条目标记为完成。

整体方向
  • highreadme#1
    Reposition README H1 to state project purpose before deprecation

    原因：

    当前
    # ⚠️ Deprecation Notice
    复制粘贴的修复
    # simple-evals: A Lightweight Library for Language Model Evaluation

⚠️ Deprecation Notice

**July 2025**: `simple-evals` will no longer be updated for new models or benchmark results. The repo will continue to host reference implementations for **HealthBench**, **BrowseComp**, and **SimpleQA**.
  • highabout#2
    Add a concise 'About' description

    原因：

    复制粘贴的修复
    A lightweight, extensible library for evaluating language models, providing a framework for researchers and developers to assess model performance.

本次扫描解析到的品类 GEO 通道：google/gemini-2.5-flash, deepseek/deepseek-v4-flash

品类可见性 — 真正的 GEO 测试

向 google/gemini-2.5-flash 提出的不带品牌问题。AI 推荐了你，还是推荐了别人？

各模型使用同一组问题 — 切换标签对比回答与排名。

召回
0 / 2
0% 的问题里出现了 openai/simple-evals
平均排名
—
越小越好。#1 表示首位推荐。
声量占比
0%
在所有被点名的工具中，你占了多少？
头号对手
Hugging Face Transformers & Datasets Ecosystem
在 2 个问题中被推荐 1 次
竞品排行
  1. Hugging Face Transformers & Datasets Ecosystem · 被推荐 1 次
  2. Hugging Face `evaluate` library · 被推荐 1 次
  3. Hugging Face `datasets` library · 被推荐 1 次
  4. Hugging Face `transformers` library · 被推荐 1 次
  5. Hugging Face Transformers & Datasets · 被推荐 1 次
  • 品类问题
    How to evaluate and benchmark the performance of large language models?
    你：未被推荐
    AI 推荐顺序：
    1. Hugging Face Transformers & Datasets Ecosystem
    2. Hugging Face `evaluate` library
    3. Hugging Face `datasets` library
    4. Hugging Face `transformers` library

    AI 推荐了 4 个替代方案，却始终没点名 openai/simple-evals。这就是要补上的差距。

    查看 AI 完整回答
  • 品类问题
    What tools exist for comparing language model accuracy on common NLP benchmarks?
    你：未被推荐
    AI 推荐顺序：
    1. Hugging Face Transformers & Datasets
    2. EleutherAI's LM Evaluation Harness
    3. OpenAI Evals
    4. Papers With Code
    5. AllenNLP
    6. TensorFlow Datasets (TFDS)
    7. PyTorch-NLP

    AI 推荐了 7 个替代方案，却始终没点名 openai/simple-evals。这就是要补上的差距。

    查看 AI 完整回答

客观检查

针对 AI 引擎最看重的元数据信号的规则审计。

  • Metadata completeness
    fail

    建议：

  • README presence
    pass

自指检查

当被直接问到你时，AI 是否还知道你的仓库存在？

  • Compared to common alternatives in this category, what is the core differentiator of openai/simple-evals?
    pass
    AI 明确点名了 openai/simple-evals

    AI 的回答可能信誓旦旦却是错的。请按事实核对：技术栈、目标人群、差异化点是不是和你实际的对得上？

  • If a team adopts openai/simple-evals in production, what risks or prerequisites should they evaluate first?
    pass
    AI 明确点名了 openai/simple-evals

    AI 的回答可能信誓旦旦却是错的。请按事实核对：技术栈、目标人群、差异化点是不是和你实际的对得上？

  • In one sentence, what problem does the repo openai/simple-evals solve, and who is the primary audience?
    pass
    AI 明确点名了 openai/simple-evals

    AI 的回答可能信誓旦旦却是错的。请按事实核对：技术栈、目标人群、差异化点是不是和你实际的对得上？

嵌入你的 GEO 徽章

把这个徽章贴进 openai/simple-evals 的 README。每次重新扫描都会自动更新，并跳到最新报告——是「我在乎 AI 可发现性」最简单的公开证明。

RepoGEO badge preview实时预览
MARKDOWN（README）
[![RepoGEO](https://repogeo.com/badge/openai/simple-evals.svg)](https://repogeo.com/zh/r/openai/simple-evals)
HTML
<a href="https://repogeo.com/zh/r/openai/simple-evals"><img src="https://repogeo.com/badge/openai/simple-evals.svg" alt="RepoGEO" /></a>
Pro

订阅 Pro，解锁深度诊断

openai/simple-evals — 轻量扫描仍免费；本卡列出 Pro 相对轻量的深度额度。

  • 深度报告每月 10 次
  • 无品牌品类查询5，轻量 2
  • 优先行动项8，轻量 3