agent-workflowsПроверки: пройдено 2 · предупреждение 1 · проблема 1

agent-eval

Лёгкий CLI‑инструмент для сравнения производительности кодирующих агентов на воспроизводимых задачах.

Суть

Что это за skill и зачем он нужен

Agent Eval позволяет описывать задачи в виде YAML‑файлов, автоматически создавать изолированные git‑worktree, передавать запросы выбранным агентам (например, Claude‑Code, Aider, Codex) и проверять результаты с помощью детерминированных судей (pytest, grep) или LLM‑судей. По завершении формируется табличный отчёт с метриками — процентом успешных проходов, стоимостью API, временем выполнения и стабильностью.

Установка

Как установить

npx skills add https://github.com/affaan-m/everything-claude-code --skill agent-eval

Сценарии

Когда использовать

Подходит

Сравнение нескольких кодирующих агентов на вашем коде перед выбором инструмента
Оценка влияния обновления модели или версии агента через регрессионные тесты
Сбор объективных данных о стоимости и времени работы агентов для бизнес‑решений
Подготовка отчётов о производительности для команды разработки
Тестирование новых подсказок (prompt) в контролируемой среде
Анализ повторяемости результатов при неоднозначных (недетерминированных) агентах

Не подходит

Если вы не можете проверить исходный код внешнего репозитория
Когда задачи содержат конфиденциальные данные, требующие строгой изоляции
Если необходима полная защита от выполнения произвольных shell‑команд
Для критически важных продакшн‑процессов без дополнительного sandbox‑окружения
Когда требуется официально сертифицированный инструмент безопасности
Если вы не готовы ограничить доступ к файлам и репозиторию, используемому агентом

Доверие

Проверки безопасности

Gen Agent Trust HubПроблема

Проверка нашла проблему. Устанавливать skill без ручного security review не стоит.

SnykПредупреждение

Средний риск · 1 замечание.

SocketПройдено

Предупреждений нет.

ZeroLeaksПройдено

Оценка 93/100 · проанализировано 2 раздела.

Похожие