Историческое издание для чтения. Сверено 2026-10-04 с ревизией 61e75e9aa9a8719dfb480bf1f5226553b3a21d70. Протокол и результаты ниже сохраняют исходный исторический статус; это не новый запуск и не разрешение на выполнение. Английский оригинал.

Заранее зарегистрированный основной пилот: предварительно вычисленные результаты Go CLI

Это предложение нового запуска с восемью вызовами, а не запись завершённых результатов или разрешение на обращения к внешней модели. Четыре реалистичных случая в corpus/primary_precomputed.json — оригинал спрашивают о фактах из Go-кода этого репозитория. Новый набор делает вопрос передачи работы CLI однозначным; primary_realistic.json и cases.json сохраняют байты исторических входных данных, чтобы их записанные хеши оставались воспроизводимыми. В контрольном испытании модель получает обычные выдержки исходных материалов. В экспериментальном — те же выдержки с ответом в корректном наборе OKF и JSON, созданный командами validate и parse реализации Go CLI. Программа запуска вызывает internal/okfcli.Run внутри процесса до обращения к модели, сохраняет точные результаты cli-* в необработанной строке и считает эти вызовы. Адаптер Codex передаёт модели весь JSON запроса. Модели не нужно самостоятельно обнаруживать или выполнять команду оболочки.

Это сравнение оценивает совместное влияние оформления в OKF и результатов CLI. Оно не выделяет влияние метаданных, не проверяет самостоятельный выбор инструментов и не измеряет работу с репозиториями в целом. Существующие попытки прямого режима в PILOT.md остаются отдельным протоколом с отчётами valid=false. Оценщик exact-v1 требует исходный идентификатор доказательства, например current. cli-current — производный результат, а не замена ссылки. Общая инструкция просит обе группы ссылаться на исходные идентификаторы; правильный ответ только с cli-current не поддаётся оценке и после запуска вручную не повышается до правильного.

Это пилот проверки осуществимости: основной заранее зарегистрированный результат — собрать все восемь парных строк, пригодных для анализа, без операционных сбоев и нарушения бюджета. Минимального порога эффективности нет; различие групп не доказывает пользу. Частота фактических ошибок и доля завершённых испытаний — вторичные описательные показатели со знаменателями из README.md.

Перед началом получите явное разрешение на восемь вызовов OpenAI Codex и передачу исходных выдержек и документов OKF четырёх случаев. Зафиксируйте протокол, набор и исправленную реализацию 004/005 в одном чистом коммите. Программа требует, чтобы -commit совпадал с чистым HEAD, и проверяет ревизию и содержимое закреплённой внешней SPEC. Соберите адаптер из этого рабочего дерева и проверьте версию и SHA-256 двоичного файла среды исполнения. Оба необработанных файла до проверки содержимого сохраняйте вне репозитория:

GOCACHE=/private/tmp/okf-agent-gocache go build \
  -o /private/tmp/okf-eval-codex-adapter \
  ./benchmark/agent/cmd/codex-adapter

OKF_EVAL_COMMIT=$(git rev-parse HEAD)
GOCACHE=/private/tmp/okf-agent-gocache go run \
  ./benchmark/agent/cmd/okf-agent-eval run \
  -corpus benchmark/agent/corpus/primary_precomputed.json \
  -plan /private/tmp/okf-primary-precomputed-v1-plan.json \
  -rows /private/tmp/okf-primary-precomputed-v1-rows.jsonl \
  -adapter /private/tmp/okf-eval-codex-adapter \
  -model-runtime /Applications/ChatGPT.app/Contents/Resources/codex \
  -model-runtime-version 'codex-cli 0.155.0-alpha.16.3' \
  -model-runtime-sha256 c67698d0990aae05211d9c43ab343ad9517e406824dea77eca103a2806232b3a \
  -run-id primary-precomputed-20260926-v1 \
  -model gpt-6-luna -model-version gpt-6-luna \
  -settings '{"reasoning_effort":"low"}' \
  -commit "$OKF_EVAL_COMMIT" \
  -spec 0b87c52c6ef999286c745e19998fdfcd03d5dbee \
  -repeats 1 -max-trials 8 -max-seconds 360 -max-tokens 150000 -unpriced \
  -toolkit-mode treatment \
  -model-tool-access 'Codex read-only ephemeral temp; full request JSON; runner embeds in-process Go CLI projections in treatment'

Жёсткие пределы: восемь вызовов адаптера и 45 секунд на обращение к модели. Программа устанавливает общий срок в 360 секунд, проверяемый при обращениях к модели и между строками; предварительные вычисления CLI внутри процесса сейчас не учитывают этот контекст и могут выйти за срок. Порог 150,000 входных и выходных токенов проверяется после каждого вызова, поэтому один вызов может его превысить. -unpriced означает, что адаптер не сообщает цену в долларах, а не нулевую стоимость. Остановитесь при первом обнаруженном превышении порога токенов или срока контекста; сохраните частичные строки и пометьте результат недействительным. План и строки создаются исключительно в новых файлах: после попытки запуска эти пути повторно не используйте.

Запустите анализ сохранённых строк с тем же закреплённым набором:

GOCACHE=/private/tmp/okf-agent-gocache go run \
  ./benchmark/agent/cmd/okf-agent-eval analyze \
  -corpus benchmark/agent/corpus/primary_precomputed.json \
  -plan /private/tmp/okf-primary-precomputed-v1-plan.json \
  -rows /private/tmp/okf-primary-precomputed-v1-rows.jsonl

Опубликуйте план, необработанные строки, отчёт анализатора и ручную проверку неожиданных ссылок или действий инструментов. Корректный план требует всех восьми строк, отсутствия операционных сбоев, неизменных закреплённых данных и соблюдения бюджета; valid=true ничего не говорит о фактической правильности. Для каждой группы отдельно сообщите правильные, устаревшие, ошибочные, отказные и не поддающиеся оценке ответы, обращения к библиотеке и инструментам модели, токены, время и неизвестную стоимость. При четырёх случаях и одном повторении результаты описательны и не дают надёжной оценки размера эффекта. Сравнение только метаданных, 004/005 до и после исправлений и проверки автора с независимым потребителем требуют отдельных протоколов и запусков.