agentic-eval
Набор шаблонов для самоконтроля и итеративного улучшения вывода агентов.
Суть
Что это за skill и зачем он нужен
Skill agentic-eval предоставляет набор проверенных паттернов, позволяющих агентам оценивать собственный вывод, критиковать его и автоматически дорабатывать. Включены базовое рефлексивное циклическое улучшение, разделение генератора и оценщика, а также специализированный цикл для кода с тест‑драйвом. Паттерны используют структурированный JSON‑вывод для надёжного парсинга и поддерживают различные стратегии оценки: результат‑ориентированную, LLM‑as‑Judge и рубрику с весовыми коэффициентами. Подробные чек‑листы помогают быстро внедрить цикл «Генерировать → Оценить → Критиковать → Улучшить → Вывести».
Установка
Как установить
npx skills add https://github.com/github/awesome-copilot --skill agentic-evalСценарии
Когда использовать
Подходит
- Генерация кода, отчётов или аналитики, где требуется высокая точность и соответствие строгим критериям.
- Задачи с чётко определёнными метриками успеха (например, соответствие стилевому гиду или нормативам).
- Сценарии, где необходимо обеспечить итеративное улучшение вывода, а не одноразовую генерацию.
- Разработка систем, где важно фиксировать историю улучшений для последующего аудита.
Не подходит
- Простые запросы, где однократный вывод достаточен и добавление итераций лишь усложнит процесс.
- Ситуации с ограниченными вычислительными ресурсами, так как каждый цикл требует дополнительных вызовов LLM.
- Контексты, где генерация кода будет сразу исполняться без проверки (повышенный риск выполнения вредоносного кода).
- Когда критерии оценки неопределённы или их невозможно формализовать в JSON‑формате.
Доверие
Проверки безопасности
Проверка вернула предупреждение. Перед установкой стоит просмотреть исходники, команды и доступы.
Проверка не нашла критичных проблем.
Низкий риск · проблем не найдено.
Предупреждений нет.
Оценка 93/100 · проанализировано 2 раздела.
Похожие