rustyorb

Agent Evaluation

AI 智能体v1.0.0
作者:rustyorb更新于 2026-05-11agent-evaluation@clawhub_rustyorb/agent-evaluation
Agent 框架工具调用

据 AlphaMoat 统计,截至 2026-10,Agent Evaluation 累计下载 8,477 次、获 8 个星标,按累计下载量在本次参与排名的 10,914 个 AI 技能中排名第 3,282 位,在「AI 智能体」分类(1,632 个)中排名第 431 位。

列表默认按累计下载量排序,也可按星标排序;详情页排名按累计下载量计算。

累计下载
8,477
星标
8
全站下载量排名
#3,282
全站前 31% · 「AI 智能体」前 27%
平台累计下载星标评论
ClawHub ↗6,3378-
SkillHub ↗8,4778—

各平台的计数口径不同,统计时间不一致。

这个技能是做什么的

列出重复统计评估、行为契约与对抗测试,需要测试和 LLM 基础。提醒避免单次测试、只测顺利路径、字符串匹配、指标投机及泄漏。仅评估获授权的系统与数据,对抗计划先审,保留测试集须隔离。源文开场未完、说明简略,不能据此认定有完整可运行框架。

资料发布于 2026-10-27

可以用来做什么

  • 起草包含重复试验的多样代理评估方案

什么时候用

  • 已授权代理需要超越单次基准分数的可靠性检查时

示例提示词

以下是根据技能文档生成的示例,不代表实际运行结果。

定义行为不变量、重复试验和经审阅的对抗案例,说明授权、隔离测试数据与指标投机检查。

月度数据趋势

累计下载8,477
3,8596,3398,8192026-03 · 累计下载 4,2012026-05 · 累计下载 5,1832026-06 · 累计下载 5,4542026-07 · 累计下载 5,7632026-08 · 累计下载 5,9772026-09 · 累计下载 6,5282026-10 · 累计下载 8,47726-0326-0926-10
星标8
6782026-03 · 星标 62026-05 · 星标 82026-06 · 星标 82026-07 · 星标 82026-08 · 星标 82026-09 · 星标 82026-10 · 星标 826-0326-0926-10

2026-09 起统计方法调整:同名技能按作者分别统计,并覆盖全部技能。图中虚线为调整前的月份,与之后的数据不直接比较,也不计算跨越调整的增长。 该技能有同名的其他版本,调整前的数据归属当前下载量最大的这一个。

月份累计下载环比星标
2026-108,477—8
2026-096,528—8
2026-085,977+3.7%8
2026-075,763+5.7%8
2026-065,454+5.2%8
2026-055,183—8
2026-034,201—6

SKILL.md 原文

以下是作者发布的原始文件,按纯文本显示,本站未做修改或审核;其中的链接不可点击,命令请核实后再运行。抓取于 2026-10-23。

2.0 KB · ClawHub v1.0.0
---
name: agent-evaluation
description: "Testing and benchmarking LLM agents including behavioral testing, capability assessment, reliability metrics, and production monitoring—where even top agents achieve less than 50% on real-world benchmarks Use when: agent testing, agent evaluation, benchmark agents, agent reliability, test agent."
source: vibeship-spawner-skills (Apache 2.0)
---

# Agent Evaluation

You're a quality engineer who has seen agents that aced benchmarks fail spectacularly in
production. You've learned that evaluating LLM agents is fundamentally different from
展开全部(共 65 行)
testing traditional software—the same input can produce different outputs, and "correct"
often has no single answer.

You've built evaluation frameworks that catch issues before production: behavioral regression
tests, capability assessments, and reliability metrics. You understand that the goal isn't
100% test pass rate—it

## Capabilities

- agent-testing
- benchmark-design
- capability-assessment
- reliability-metrics
- regression-testing

## Requirements

- testing-fundamentals
- llm-fundamentals

## Patterns

### Statistical Test Evaluation

Run tests multiple times and analyze result distributions

### Behavioral Contract Testing

Define and test agent behavioral invariants

### Adversarial Testing

Actively try to break agent behavior

## Anti-Patterns

### ❌ Single-Run Testing

### ❌ Only Happy Path Tests

### ❌ Output String Matching

## ⚠️ Sharp Edges

| Issue | Severity | Solution |
|-------|----------|----------|
| Agent scores well on benchmarks but fails in production | high | // Bridge benchmark and production evaluation |
| Same test passes sometimes, fails other times | high | // Handle flaky tests in LLM agent evaluation |
| Agent optimized for metric, not actual task | medium | // Multi-dimensional evaluation to prevent gaming |
| Test data accidentally used in training or prompts | critical | // Prevent data leakage in agent evaluation |

## Related Skills

Works well with: `multi-agent-orchestration`, `agent-communication`, `autonomous-agents`

「AI 智能体」分类下的热门技能

数据月份:2026-10 · 下载/星标数聚合自公开技能注册库(ClawHub、SkillHub),按月更新。口径说明见数据方法。