RRepoGEO

REPOGEO 报告 · LITE

open-compass/VLMEvalKit

默认分支 main · commit c44bc601 · 扫描时间 2026/5/19 17:02:13

星标 4,143 · Fork 698

本仓库扫描历史

下方为分数趋势（含全部就绪扫描；左旧右新，可横向滚动）。表格明细默认折叠，展开后每页 10 条，最新在上。

分数趋势（左 → 右：旧 → 新）

共 2 条就绪扫描。点击下方按钮展开表格（每页 10 条，可翻页）。

AI 可见性总分
40 /100
亟需修复
品类召回
0 / 2
在所有问题中均未被推荐
规则结果
通过 2 · 警告 0 · 失败 0
客观元数据检查
AI 认识你的名字
3 / 3
直接询问时，AI 是否点名你的仓库
如何阅读这份报告

行动计划告诉你下一步要做什么——按影响力排序、可直接复制粘贴的修改。品类可见性是真正的 GEO 测试：当用户向 AI 提一个不带品牌、本应让 open-compass/VLMEvalKit 浮出水面的问题时，AI 是真的推荐了你，还是推荐了你的竞品？客观检查验证 AI 引擎最先权衡的那些元数据信号。自指检查判断 AI 是否还认识你的名字。

行动计划 — 可复制粘贴的修复

3 条由 gemini-2.5-flash 生成、按优先级排序的修改。修完后请把对应条目标记为完成。

整体方向
  • hightopics#1
    Refine repository topics to emphasize 'evaluation toolkit' for LVLMs

    原因：

    当前
    chatgpt, claude, clip, computer-vision, evaluation, gemini, gpt, gpt-4v, gpt4, large-language-models, llava, llm, multi-modal, openai, openai-api, pytorch, qwen, vit, vqa
    复制粘贴的修复
    benchmarking, computer-vision, evaluation, large-language-models, llm, multi-modal, pytorch, toolkit, vision-language-models, vqa
  • mediumreadme#2
    Enhance README's initial positioning to differentiate from generic tools

    原因：

    当前
    VLMEvalKit (the python package name is vlmeval) is an open-source evaluation toolkit of large vision-language models (LVLMs). It enables one-command evaluation of LVLMs on various benchmarks, without the heavy workload of data preparation under multiple repositories.
    复制粘贴的修复
    VLMEvalKit (the python package name is vlmeval) is an **open-source evaluation toolkit specifically designed for large vision-language models (LVLMs)**. Unlike general LLM evaluation harnesses or generic multi-modal frameworks, VLMEvalKit enables one-command evaluation of LVLMs on various benchmarks, without the heavy workload of data preparation under multiple repositories.
  • lowhomepage#3
    Update Homepage URL to point to the toolkit's primary resource

    原因：

    当前
    https://huggingface.co/spaces/opencompass/open_vlm_leaderboard
    复制粘贴的修复
    (none)

本次扫描解析到的品类 GEO 通道：google/gemini-2.5-flash, deepseek/deepseek-v4-flash

品类可见性 — 真正的 GEO 测试

向 google/gemini-2.5-flash 提出的不带品牌问题。AI 推荐了你，还是推荐了别人？

各模型使用同一组问题 — 切换标签对比回答与排名。

召回
0 / 2
0% 的问题里出现了 open-compass/VLMEvalKit
平均排名
—
越小越好。#1 表示首位推荐。
声量占比
0%
在所有被点名的工具中，你占了多少？
头号对手
OpenCLIP
在 2 个问题中被推荐 2 次
竞品排行
  1. OpenCLIP · 被推荐 2 次
  2. CLIP · 被推荐 1 次
  3. ALIGN · 被推荐 1 次
  4. BLIP · 被推荐 1 次
  5. BLIP-2 · 被推荐 1 次
  • 品类问题
    How can I evaluate the performance of various large vision-language models?
    你：未被推荐
    AI 推荐顺序：
    1. CLIP
    2. OpenCLIP
    3. ALIGN
    4. BLIP
    5. BLIP-2
    6. CoCa
    7. InstructBLIP
    8. GLIP
    9. OWL-ViT
    10. LLaVA
    11. MiniGPT-4
    12. Qwen-VL
    13. MM-Vet
    14. POPE
    15. VQAv2 Dataset
    16. COCO Captions Dataset

    AI 推荐了 16 个替代方案，却始终没点名 open-compass/VLMEvalKit。这就是要补上的差距。

    查看 AI 完整回答
  • 品类问题
    What open-source tools exist for benchmarking diverse multi-modal AI models?
    你：未被推荐
    AI 推荐顺序：
    1. lm-evaluation-harness (EleutherAI/lm-evaluation-harness)
    2. OpenCLIP
    3. Hugging Face evaluate library
    4. MMDetection
    5. MMDetection3D
    6. MMAction2
    7. PyTorch-Ignite
    8. PyTorch Lightning (Lightning-AI/pytorch-lightning)

    AI 推荐了 8 个替代方案，却始终没点名 open-compass/VLMEvalKit。这就是要补上的差距。

    查看 AI 完整回答

客观检查

针对 AI 引擎最看重的元数据信号的规则审计。

  • Metadata completeness
    pass

  • README presence
    pass

自指检查

当被直接问到你时，AI 是否还知道你的仓库存在？

  • Compared to common alternatives in this category, what is the core differentiator of open-compass/VLMEvalKit?
    pass
    AI 明确点名了 open-compass/VLMEvalKit

    AI 的回答可能信誓旦旦却是错的。请按事实核对：技术栈、目标人群、差异化点是不是和你实际的对得上？

  • If a team adopts open-compass/VLMEvalKit in production, what risks or prerequisites should they evaluate first?
    pass
    AI 明确点名了 open-compass/VLMEvalKit

    AI 的回答可能信誓旦旦却是错的。请按事实核对：技术栈、目标人群、差异化点是不是和你实际的对得上？

  • In one sentence, what problem does the repo open-compass/VLMEvalKit solve, and who is the primary audience?
    pass
    AI 明确点名了 open-compass/VLMEvalKit

    AI 的回答可能信誓旦旦却是错的。请按事实核对：技术栈、目标人群、差异化点是不是和你实际的对得上？

嵌入你的 GEO 徽章

把这个徽章贴进 open-compass/VLMEvalKit 的 README。每次重新扫描都会自动更新，并跳到最新报告——是「我在乎 AI 可发现性」最简单的公开证明。

RepoGEO badge preview实时预览
MARKDOWN（README）
[![RepoGEO](https://repogeo.com/badge/open-compass/VLMEvalKit.svg)](https://repogeo.com/zh/r/open-compass/VLMEvalKit)
HTML
<a href="https://repogeo.com/zh/r/open-compass/VLMEvalKit"><img src="https://repogeo.com/badge/open-compass/VLMEvalKit.svg" alt="RepoGEO" /></a>
Pro

订阅 Pro，解锁深度诊断

open-compass/VLMEvalKit — 轻量扫描仍免费；本卡列出 Pro 相对轻量的深度额度。

  • 深度报告每月 10 次
  • 无品牌品类查询5，轻量 2
  • 优先行动项8，轻量 3
open-compass/VLMEvalKit — RepoGEO 报告