Архивный отчёт от 26 сентября 2026 года. Эта версия для чтения сохраняет результаты и ограничения исходного запуска; она не является актуальным руководством по продукту. Исходный отчёт, проверенная ревизия 61e75e9aa9a8719dfb480bf1f5226553b3a21d70.

Go CLI до и после исправлений 004/005 — 2026-09-26

Заранее зарегистрированный протокол выполнен со старым Go CLI коммита ed7ddc28cd127682023bd150ee377906b817e099 и исправленным CLI коммита 260a7cb701f08e21efd94e0b04db9b491f7e1db7. План, исходные записи и отчёт сохраняют завершённый запуск. SHA-256 набора из пяти случаев — 05d45be91e4ab15f49b8f71c4085eca91e85dddad3af6792755d824f536a6db4; SHA-256 используемых тестовых файлов — 3e7b800654e1a6cfa53680815eb968ab348b36419444f66b3b0dfdf5631db156. План фиксирует два бинарных файла CLI, адаптер, локальную среду Codex, инструкции модели, фиксированное время, настройки модели и чередование порядка групп. Фиксация локальной среды отдельно не определяет снимок удалённой модели.

Все 20/20 запланированных записей присутствуют. Анализатор сообщает valid=true, отсутствие пропущенных или некорректных записей и операционных сбоев. Восемнадцать записей содержат вызовы модели; две записи 004 для старого CLI отмечены revision_unsupported без вызова модели. Использована модель gpt-6-luna с низким уровнем рассуждений. Каждый ответ проверял зафиксированный Go-оценщик точного совпадения: нормализованный ответ должен совпасть с заранее зарегистрированным ответом или его допустимым вариантом и содержать ссылку на идентификатор исходного артефакта. Одного диагностического текста CLI недостаточно для выполнения условия о свидетельствах.

В восьми парных сравнениях 005 для спецификации дат старый CLI получил 4/8 правильных ответов, исправленный — 6/8 по этому строгому оценщику. В четырёх парах обе группы дали правильные ответы, в двух неправильный ответ стал правильным, ещё в двух ответы остались неправильными. Оба изменения оценки относятся к вопросу о вступлении корневого документа: старый ответ в одном случае был Insufficient evidence («недостаточно данных»), в другом содержал полный путь репозитория scaccogatto/okf-skills вместо заранее зарегистрированного короткого имени okf-skills. Ответы о встроенных сносках в обеих группах указали sources[].id, но включили артикль, поэтому оценщик точного совпадения признал их неправильными. Эти оценки нельзя читать как долю смысловых фактических ошибок. Вопросы об обёрнутом журнале и поддержке корневого документа получили правильные ответы в обеих группах. Корректно сформированные отчёты проверки старого CLI с кодом выхода 1 содержали 96 классифицированных диагностик в восьми записях 005: восемь о вступлении корня, восемь о неизвестном поле корня и 80 об элементах обёрнутого журнала. Их сохранили как видимые модели свидетельства, а не посчитали сбоями процесса. Исправленные отчёты проверки 005 приняли тестовые файлы.

Случай 004 для спецификации временных моментов — отдельный результат проверки возможностей: старый CLI не смог выбрать эту редакцию SPEC в обоих повторах, а исправленный проверил её, и модель дала правильные ответы в обоих повторах. Эти две записи не образуют пары фактических ответов и исключены из сравнения 005.

Среда запуска выполнила 36 вызовов Go CLI для получения представлений данных, модель не вызывала инструменты. В 18 вызовах модели использовано 347,499 входных и выходных токенов. Адаптер не сообщил стоимость отдельного вызова в USD, поэтому стоимость неизвестна, а не равна нулю. Четыре вопроса в группе 005 с двумя повторами каждого — небольшая описательная выборка. Запуск показывает улучшение двух парных оценок точного совпадения при использовании представлений исправленного CLI; одно улучшение связано с несовпадением нормализации содержательно правильного старого ответа. Результат не устанавливает общего роста фактической точности или пользы продукта и не определяет, какая часть изменённых свидетельств CLI вызвала изменение оценок.

Сохранённый отчёт воспроизводится байт в байт из сохранённых плана и записей:

GOCACHE=/private/tmp/okf-agent-gocache go run \
  ./benchmark/agent/beforeafter/cmd/okf-before-after analyze \
  -repo-root . \
  -corpus benchmark/agent/beforeafter/corpus.json \
  -plan benchmark/agent/runs/20260926-beforeafter-v1/plan.json \
  -rows benchmark/agent/runs/20260926-beforeafter-v1/rows.jsonl