Архивный отчёт от 26 сентября 2026 года. Эта версия для чтения сохраняет результаты и ограничения исходного запуска; она не является актуальным руководством по продукту. Исходный отчёт, проверенная ревизия 61e75e9aa9a8719dfb480bf1f5226553b3a21d70.

Основной пилот с предварительно вычисленными результатами Go CLI — 2026-09-26

Это первый завершённый парный пилот задачи 012. Заранее зарегистрированный протокол выполнен на исправленном коммите ed0bd12c15b03445070bfc3c2775ab1d980dc822 с зафиксированной редакцией SPEC профиля временных моментов 0b87c52c6ef999286c745e19998fdfcd03d5dbee, моделью gpt-6-luna с низким уровнем рассуждений и corpus/primary_precomputed.json (SHA-256 5f9964c1b63871ed8a14f2d420848e62ffa09e9d85cff71890a585e0c8fad639). План, исходные записи и отчёт скопированы из запуска байт в байт. Анализатор пересчитывает сохранённый отчёт байт в байт:

GOCACHE=/private/tmp/okf-agent-gocache go run \
  ./benchmark/agent/cmd/okf-agent-eval analyze \
  -corpus benchmark/agent/corpus/primary_precomputed.json \
  -plan benchmark/agent/runs/20260926-primary-precomputed-v1/plan.json \
  -rows benchmark/agent/runs/20260926-primary-precomputed-v1/rows.jsonl

Все восемь запланированных испытаний завершились: четыре контрольных и четыре экспериментальных, по одному повтору, без пропущенных записей, операционных сбоев и некорректных исходных записей. Анализатор сообщает valid=true. Обе группы ответили правильно в 3/4 случаев и неправильно в 1/4; доля фактических ошибок — 1/4 в каждой. Для repo-parse-output контрольная группа вернула Insufficient evidence («недостаточно данных»), хотя предоставленный фрагмент справки CLI говорит, что parse выводит типизированное представление. Экспериментальная ответила Its typed projection as JSON. («его типизированное представление в JSON»). Это добавило неподтверждённое утверждение о JSON по умолчанию: CLI по умолчанию выводит текст и использует JSON только с --json или --format json. Представление разбора для экспериментальной группы, созданное средой запуска, было явно запрошено с --json; по одному наблюдению нельзя определить, вызвало ли это дополнительное утверждение.

Среда запуска выполнила девять вызовов Go CLI в экспериментальных испытаниях: четыре проверки и пять разборов. Модель не вызывала инструменты ни в одной группе. Таким образом, запуск проверяет ответы модели по предварительно вычисленным представлениям Go CLI; он не проверяет способность модели самостоятельно выбрать или вызвать CLI. Потребление входных и выходных токенов — 127,346 за восемь вызовов (контрольная группа 61,305; экспериментальная 66,041). Адаптер не предоставил стоимость в долларах, поэтому она недоступна, а не равна нулю. Вывод оболочки модели и трассировки команд не сохранены в записях; свидетельства cli-* содержат только JSON Go CLI, полученный из закоммиченного набора случаев.

Этот пилот проверки осуществимости с четырьмя случаями и одним повтором не выявил улучшения качества ответов: обе группы получили 3/4. Он не позволяет оценить общий эффект или отделить представление знаний в OKF от представлений данных CLI. Оценки с добавлением только метаданных, до/после 004/005 и от автора к независимому читателю остаются отдельной работой по приёмке.