FINDING #2608 · UNIT ID 1213526705
SeraphimSerapis/tool-eval-bench
Tool-calling quality benchmark for LLM serving stacks. 80+ deterministic scenarios testing multi-turn orchestration, safety boundaries, and structured output. Supports vLLM, SGLang, and llama.cpp.
SURPRISE SCORE
0.00
Score Breakdown
SCORE = SURPRISE × ENGAGEMENT^0.7 × FRESHNESS × VISIBILITY × CONFIDENCE
SURPRISE = WINDOW STARS / DAYS / (AUDIENCE + FLOOR)
18% OF STARS IN ARCHIVE
Growth Telemetry
VELOCITY /D
1.87
ACCEL
-0.02
RETENTION
14.0%
PEAK 2026-08-02 · FORK-RETENTION 100.0% · 56 STARS / WINDOW
Author Audience
AUDIENCE
192
FOLLOWERS
142
OWNER ★
503
Engagement Signals
FORKS
42
ISSUE AUTH
0
PR AUTH
0
UNIQUE STARGAZERS 56 / 56 (DIVERSITY 1.00)
Why This Is A Finding
SeraphimSerapis/tool-eval-bench собрал 56 звёзд за окно, тогда как у автора всего 142 подписчиков — эффективная аудитория ≈ 192. Это даёт surprise-индекс 0.00804 (звёзды относительно охвата автора, а не в абсолюте). Удержание форков 100.0% и 0 внешних контрибьюторов отделяют реальный инструмент от разовой вспышки. Акселерация отрицательная — внимание остывает после пика.
Related Findings
RANKS ABOVE 73% OF 9593 FINDINGS
METRICS IN CONTEXT
MEDIAN ACROSS ALL 9593 FINDINGS · Δ vs MEDIAN · PERCENTILE = SHARE RANKED BELOW
METRICVALUEMEDIANΔ MEDPERCENTILE
SCORE0.010.00+0.01ABOVE 73%
VELOCITY1.873.63-1.77ABOVE 15%
RETENTION14.0%25.0%-11.0 PPABOVE 29%
FORKS42117-75ABOVE 27%
SURPRISE0.010.01+0.00ABOVE 50%