rustyorb

Agent Evaluation

AI 智慧體v1.0.0
作者:rustyorb更新於 2026-05-11agent-evaluation@clawhub_rustyorb/agent-evaluation
Agent 框架工具呼叫

據 AlphaMoat 統計,截至 2026-10,Agent Evaluation 累計下載 8,477 次、獲 8 個星標,按累計下載量在本次參與排名的 10,914 個 AI 技能中排名第 3,282 位,在「AI 智慧體」分類(1,632 個)中排名第 431 位。

列表預設按累計下載量排序,也可按星標排序;詳情頁排名按累計下載量計算。

累計下載
8477
星標
8
全站下載量排名
#3,282
全站前 31% · 「AI 智慧體」前 27%
平台累計下載星標評論
ClawHub ↗63378-
SkillHub ↗84778—

各平台的計數口徑不同,統計時間不一致。

這個技能是做什麼的

列出重複統計評估、行為契約與對抗測試,需要測試和 LLM 基礎。提醒避免單次測試、只測順利路徑、字串匹配、指標投機及洩漏。僅評估獲授權的系統與資料,對抗計劃先審,保留測試集須隔離。源文開場未完、說明簡略,不能據此認定有完整可執行框架。

資料釋出於 2026-10-27

可以用來做什麼

  • 起草包含重複試驗的多樣代理評估方案

什麼時候用

  • 已授權代理需要超越單次基準分數的可靠性檢查時

示例提示詞

以下是根據技能文件生成的示例,不代表實際執行結果。

定義行為不變數、重複試驗和經審閱的對抗案例,說明授權、隔離測試資料與指標投機檢查。

月度資料趨勢

累計下載8477
3859633988192026-03 · 累計下載 42012026-05 · 累計下載 51832026-06 · 累計下載 54542026-07 · 累計下載 57632026-08 · 累計下載 59772026-09 · 累計下載 65282026-10 · 累計下載 847726-0326-0926-10
星標8
6782026-03 · 星標 62026-05 · 星標 82026-06 · 星標 82026-07 · 星標 82026-08 · 星標 82026-09 · 星標 82026-10 · 星標 826-0326-0926-10

2026-09 起統計方法調整:同名技能按作者分別統計,並覆蓋全部技能。圖中虛線為調整前的月份,與之後的資料不直接比較,也不計算跨越調整的增長。 該技能有同名的其他版本,調整前的資料歸屬當前下載量最大的這一個。

月份累計下載環比星標
2026-108477—8
2026-096528—8
2026-085977+3.7%8
2026-075763+5.7%8
2026-065454+5.2%8
2026-055183—8
2026-034201—6

SKILL.md 原文

以下是作者釋出的原始檔案,按純文字顯示,本站未做修改或稽核;其中的連結不可點選,命令請核實後再執行。抓取於 2026-10-23。

2.0 KB · ClawHub v1.0.0
---
name: agent-evaluation
description: "Testing and benchmarking LLM agents including behavioral testing, capability assessment, reliability metrics, and production monitoring—where even top agents achieve less than 50% on real-world benchmarks Use when: agent testing, agent evaluation, benchmark agents, agent reliability, test agent."
source: vibeship-spawner-skills (Apache 2.0)
---

# Agent Evaluation

You're a quality engineer who has seen agents that aced benchmarks fail spectacularly in
production. You've learned that evaluating LLM agents is fundamentally different from
展開全部(共 65 行)
testing traditional software—the same input can produce different outputs, and "correct"
often has no single answer.

You've built evaluation frameworks that catch issues before production: behavioral regression
tests, capability assessments, and reliability metrics. You understand that the goal isn't
100% test pass rate—it

## Capabilities

- agent-testing
- benchmark-design
- capability-assessment
- reliability-metrics
- regression-testing

## Requirements

- testing-fundamentals
- llm-fundamentals

## Patterns

### Statistical Test Evaluation

Run tests multiple times and analyze result distributions

### Behavioral Contract Testing

Define and test agent behavioral invariants

### Adversarial Testing

Actively try to break agent behavior

## Anti-Patterns

### ❌ Single-Run Testing

### ❌ Only Happy Path Tests

### ❌ Output String Matching

## ⚠️ Sharp Edges

| Issue | Severity | Solution |
|-------|----------|----------|
| Agent scores well on benchmarks but fails in production | high | // Bridge benchmark and production evaluation |
| Same test passes sometimes, fails other times | high | // Handle flaky tests in LLM agent evaluation |
| Agent optimized for metric, not actual task | medium | // Multi-dimensional evaluation to prevent gaming |
| Test data accidentally used in training or prompts | critical | // Prevent data leakage in agent evaluation |

## Related Skills

Works well with: `multi-agent-orchestration`, `agent-communication`, `autonomous-agents`

「AI 智慧體」分類下的熱門技能

資料月份:2026-10 · 下載/星標數聚合自公開技能註冊庫(ClawHub、SkillHub),按月更新。口徑說明見資料方法。