RRepoGEO

REPOGEO 报告 · LITE

open-compass/VLMEvalKit

默认分支 main · commit 0bfa830f · 扫描时间 2026/7/1 02:31:41

星标 4,245 · Fork 726

本仓库扫描历史

下方为分数趋势（含全部就绪扫描；左旧右新，可横向滚动）。表格明细默认折叠，展开后每页 10 条，最新在上。

分数趋势（左 → 右：旧 → 新）

共 2 条就绪扫描。点击下方按钮展开表格（每页 10 条，可翻页）。

AI 可见性总分
58 /100
需要改进
品类召回
1 / 2
被推荐时的平均排名 #14.0
规则结果
通过 2 · 警告 0 · 失败 0
客观元数据检查
AI 认识你的名字
3 / 3
直接询问时，AI 是否点名你的仓库
如何阅读这份报告

行动计划告诉你下一步要做什么——按影响力排序、可直接复制粘贴的修改。品类可见性是真正的 GEO 测试：当用户向 AI 提一个不带品牌、本应让 open-compass/VLMEvalKit 浮出水面的问题时，AI 是真的推荐了你，还是推荐了你的竞品？客观检查验证 AI 引擎最先权衡的那些元数据信号。自指检查判断 AI 是否还认识你的名字。

行动计划 — 可复制粘贴的修复

3 条由 gemini-2.5-flash 生成、按优先级排序的修改。修完后请把对应条目标记为完成。

整体方向
  • highreadme#1
    Clarify the README's opening statement to explicitly position VLMEvalKit as a toolkit, not just a collection of benchmarks.

    原因：

    当前
    <b>A Toolkit for Evaluating Large Vision-Language Models. </b>
    复制粘贴的修复
    <b>VLMEvalKit is the definitive open-source toolkit for systematically evaluating Large Vision-Language Models (LVLMs). It provides a unified framework to benchmark 220+ LVLMs across 80+ datasets, eliminating the need to manage individual benchmarks.</b>
  • mediumtopics#2
    Add more specific topics to improve categorization as an LMM benchmarking toolkit.

    原因：

    当前
    chatgpt, claude, clip, computer-vision, evaluation, gemini, gpt, gpt-4v, gpt4, large-language-models, llava, llm, multi-modal, openai, openai-api, pytorch, qwen, vit, vqa
    复制粘贴的修复
    chatgpt, claude, clip, computer-vision, evaluation, gemini, gpt, gpt-4v, gpt4, large-language-models, llava, llm, multi-modal, openai, openai-api, pytorch, qwen, vit, vqa, llm-benchmarking, vlm-evaluation, multimodal-evaluation, evaluation-framework
  • lowreadme#3
    Add a 'Comparison with Alternatives' section to the README.

    原因：

    复制粘贴的修复
    ## 💡 Comparison with Alternatives

While general evaluation frameworks like EleutherAI/lm-evaluation-harness or MMEval offer broad benchmarking capabilities, VLMEvalKit specializes in the unique challenges of Large Vision-Language Models. We provide out-of-the-box support for 220+ LVLMs and 80+ benchmarks, focusing on the specific data formats, inference pipelines, and evaluation metrics required for multi-modal AI, offering a more streamlined and comprehensive solution for LMM developers and researchers.

本次扫描解析到的品类 GEO 通道：google/gemini-2.5-flash, deepseek/deepseek-v4-flash

品类可见性 — 真正的 GEO 测试

向 google/gemini-2.5-flash 提出的不带品牌问题。AI 推荐了你，还是推荐了别人？

各模型使用同一组问题 — 切换标签对比回答与排名。

召回
1 / 2
50% 的问题里出现了 open-compass/VLMEvalKit
平均排名
#14.0
越小越好。#1 表示首位推荐。
声量占比
4%
在所有被点名的工具中，你占了多少？
头号对手
VQA-v2
在 2 个问题中被推荐 1 次
竞品排行
  1. VQA-v2 · 被推荐 1 次
  2. GQA · 被推荐 1 次
  3. OK-VQA · 被推荐 1 次
  4. COCO Captions · 被推荐 1 次
  5. Flickr30k · 被推荐 1 次
  • 品类问题
    How can I systematically evaluate the performance of different large vision-language models?
    你：第 14 位
    AI 推荐顺序：
    1. VQA-v2
    2. GQA
    3. OK-VQA
    4. COCO Captions
    5. Flickr30k
    6. RefCOCO/RefCOCO+/RefCOCOg
    7. ScienceQA
    8. MM-Vet
    9. POPE
    10. FairFace
    11. ImageNet-A/ImageNet-R/ImageNet-Sketch
    12. OpenAI Evals
    13. Hugging Face Evaluate library
    14. VLMEvalKit ← 你
    15. Amazon Mechanical Turk
    16. Scale AI
    17. Appen
    查看 AI 完整回答
  • 品类问题
    Looking for an open-source toolkit to benchmark various multi-modal AI models effectively.
    你：未被推荐
    AI 推荐顺序：
    1. EleutherAI/lm-evaluation-harness (EleutherAI/lm-evaluation-harness)
    2. MMEval
    3. Hugging Face Evaluate
    4. TorchMetrics
    5. MMDetection
    6. MMSegmentation
    7. MMClassification

    AI 推荐了 7 个替代方案，却始终没点名 open-compass/VLMEvalKit。这就是要补上的差距。

    查看 AI 完整回答

客观检查

针对 AI 引擎最看重的元数据信号的规则审计。

  • Metadata completeness
    pass

  • README presence
    pass

自指检查

当被直接问到你时，AI 是否还知道你的仓库存在？

  • Compared to common alternatives in this category, what is the core differentiator of open-compass/VLMEvalKit?
    pass
    AI 明确点名了 open-compass/VLMEvalKit

    AI 的回答可能信誓旦旦却是错的。请按事实核对：技术栈、目标人群、差异化点是不是和你实际的对得上？

  • If a team adopts open-compass/VLMEvalKit in production, what risks or prerequisites should they evaluate first?
    pass
    AI 明确点名了 open-compass/VLMEvalKit

    AI 的回答可能信誓旦旦却是错的。请按事实核对：技术栈、目标人群、差异化点是不是和你实际的对得上？

  • In one sentence, what problem does the repo open-compass/VLMEvalKit solve, and who is the primary audience?
    pass
    AI 明确点名了 open-compass/VLMEvalKit

    AI 的回答可能信誓旦旦却是错的。请按事实核对：技术栈、目标人群、差异化点是不是和你实际的对得上？

嵌入你的 GEO 徽章

把这个徽章贴进 open-compass/VLMEvalKit 的 README。每次重新扫描都会自动更新，并跳到最新报告——是「我在乎 AI 可发现性」最简单的公开证明。

RepoGEO badge preview实时预览
MARKDOWN（README）
[![RepoGEO](https://repogeo.com/badge/open-compass/VLMEvalKit.svg)](https://repogeo.com/zh/r/open-compass/VLMEvalKit)
HTML
<a href="https://repogeo.com/zh/r/open-compass/VLMEvalKit"><img src="https://repogeo.com/badge/open-compass/VLMEvalKit.svg" alt="RepoGEO" /></a>
Pro

订阅 Pro，解锁深度诊断

open-compass/VLMEvalKit — 轻量扫描仍免费；本卡列出 Pro 相对轻量的深度额度。

  • 深度报告每月 10 次
  • 无品牌品类查询5，轻量 2
  • 优先行动项8，轻量 3