Архивный отчёт от 26 сентября 2026 года. Эта версия для чтения сохраняет результаты и ограничения исходного запуска; она не является актуальным руководством по продукту. Исходный отчёт, проверенная ревизия
61e75e9aa9a8719dfb480bf1f5226553b3a21d70.
Заранее зарегистрированный протокол выполнен на чистом коммите dd8989ba36b8e27ac5762e2e0984cac7f88e8738 со спецификацией SPEC редакции 0b87c52c6ef999286c745e19998fdfcd03d5dbee, моделью gpt-6-luna с низким уровнем рассуждений и набором случаев backfill_cases.json, подготовленным средствами Go (SHA-256 4c23a1ce55f666c737dde8eea0baf44ba82d5e0365585b98a699a72a2a03f85f). Читатель экспериментальной группы получил созданный набор OKF; контрольной — исходные свидетельства из Git. Обе группы получили одинаковый diff текущего кода для своего вопроса. Адаптер со скрытыми обозначениями групп (SHA-256 8f132bc3d12aeb1ea78d74642156427c1921a35b28d60f12b1296354a0b44ea9) не передавал модели идентификатор случая, группу, эталонный ответ или представление данных Go CLI. План, исходные записи и отчёт сохраняют результаты запуска. Повторный анализ воспроизводит сохранённый отчёт байт в байт:
GOCACHE=/private/tmp/okf-agent-gocache GOPROXY=off GOSUMDB=off GOTOOLCHAIN=local go run \
./benchmark/agent/cmd/okf-agent-eval analyze \
-corpus benchmark/agent/corpus/backfill_cases.json \
-plan benchmark/agent/runs/20260926-backfill-consumer-v2/plan.json \
-rows benchmark/agent/runs/20260926-backfill-consumer-v2/rows.jsonl
Завершились все 6/6 запланированных вызовов. Не было отсутствующих или некорректных записей, отказов, устаревших ответов, ответов, не поддающихся оценке, операционных сбоев или вызовов инструментов моделью. Отчёт содержит valid=true. По заранее зарегистрированному оценщику точного совпадения контрольная группа дала 3/3 правильных ответа, экспериментальная — 2/3 правильных. Единственный вердикт wrong в экспериментальной группе относится к вопросу о смене решения: модель ответила Mode B, сославшись на decision, тогда как зафиксированный ожидаемый ответ — ровно B. Выбранный режим и ссылка согласуются со свидетельствами; это несовпадение точного формата, а не наблюдаемая фактическая ошибка о смене режима. Для усечённого обработчика обе группы ответили Insufficient evidence («недостаточно данных»); для сохранённого diff текущего Go-кода обе ответили B. Зафиксированный оценщик нельзя переписывать после просмотра этого ответа.
Отдельный отчёт об охвате восстановления фиксирует 3 включённых события Git из 3 рассмотренных, отсутствие отклонённых или пропущенных событий и одно явно усечённое событие. Это учёт рассмотренных событий, а не утверждение, что каждый созданный факт верен или развёртывание обработчика завершено.
Наблюдаемое потребление за шесть вызовов: 92,316 входных + 163 выходных = 92,479 токенов. Из входных токенов 81,408 отмечены как кэшированные; это не дополнительные вызовы. Суммарное время работы модели — 33.255 секунды. Стоимость в USD недоступна, поэтому нулевой cost_usd при нулевом cost_known_trials в отчёте не означает бесплатный запуск.
Этот синтетический пилот с тремя парами и одним повтором подтверждает только узкое наблюдение выше. Он не показывает улучшения качества ответов читателя благодаря набору OKF, не проверяет самостоятельное использование CLI и не оценивает поведение на реальных репозиториях. Протокол v1 заменили до получения любых наблюдений модели, поскольку его адаптер раскрыл бы служебные метки среды оценки; незапущенные случаи не входят в указанные знаменатели.