Исторический материал для чтения. Оригинал на английском: benchmark/agent/upkeeplive/LIVE.md, ревизия репозитория 61e75e9aa9a8719dfb480bf1f5226553b3a21d70 (2026-10-04). Перевод сохраняет методику, даты, измерения и статус, зафиксированные в этой ревизии. Исторические результаты относятся к описанным запускам; они не описывают текущий продукт и не служат рекомендацией запускать агентов сегодня.
Это предварительная регистрация upkeep-live-20260926-v1, не результат. Запускайте только после отдельного разрешения на отправку данных случаев в OpenAI Codex. Рабочая копия должна соответствовать чистому коммиту 260a7cb701f08e21efd94e0b04db9b491f7e1db7. Не пересобирайте и не изменяйте зафиксированные входные данные между согласованием и выполнением. Изменение требует нового идентификатора запуска и новой предварительной регистрации.
| Входные данные | Путь | SHA-256 |
|---|---|---|
| Исходный набор случаев | benchmark/agent/corpus/backfill_cases.json |
4c23a1ce55f666c737dde8eea0baf44ba82d5e0365585b98a699a72a2a03f85f |
| Производный набор из двух случаев | benchmark/agent/corpus/upkeep_cases.json |
60701847761a868ad0ab8de31b5d7884d023fa42e82d13851c5ec4942b2dfe3d |
| Зафиксированный план | /private/tmp/okf-upkeep-live-v1-plan.json |
27cc232a283d0b9993108684a942421a1906fb30e3215c2e974f63388db41327 |
| Управляющая программа со встроенной Go-проверкой | /private/tmp/okf-upkeep-live |
a0565afc973e6c1ef3d0a14ca732069d9a09416b6503e0d7f595688143a44b45 |
| Адаптер Codex | /private/tmp/okf-upkeep-codex-adapter |
3470b13c8e8d31fee44e2de6241a1af917a75bc02b5cb0f4c9f87c8cdbc8e9ea |
| Codex CLI | /Applications/ChatGPT.app/Contents/Resources/codex |
c67698d0990aae05211d9c43ab343ad9517e406824dea77eca103a2806232b3a |
Версия CLI — codex-cli 0.155.0-alpha.16.3. И автор, и читатель используют gpt-6-luna с уровнем рассуждений low. SHA-256 промпта автора адаптера — f755ee7995f9f39e4383fc751ef55fc7fca1edb000f5036ab33fb57b38fa139e; промпта читателя — 86a8d806fceaddea4b93cb28e09122115c4fe234e2410e0e20c1c4067e5e6f59. План фиксирует эти хеши, обе модели, один повтор, два случая и хеш управляющей программы как checker_sha256. Его source_corpus_sha256 относится к backfill_cases.json, а не к производному upkeep_cases.json.
Каждый случай в обеих группах начинается с одинакового закоммиченного кода и набора OKF. Случаи — upkeep-reversal (режим A становится B) и upkeep-truncated (полные свидетельства развёртывания заменяются частичной записью). Программа фиксирует порядок групп по идентификатору плана, идентификатору случая и повтору. Автор обязан вернуть точный целевой код и полный итоговый набор. Каждая группа использует новый временный Git-репозиторий.
При выключенной проверке автор видит задачу изменения кода и исходный набор, затем новый читатель — только итоговый набор этого автора и вопрос. При включённой проверке автор также видит напоминание о пересмотре OKF; после первого черновика настоящая Go-проверка обязана вернуть needs_review; новая сессия модели видит этот результат и получает одну попытку редактирования. Затем отдельный новый читатель видит лишь итоговый набор и вопрос. Читатель никогда не получает название группы, исходный код, результат проверки, диалог автора или эталонный ответ. Каждый вызов адаптера запускает новую одноразовую сессию Codex; повтор идентификатора сессии нарушает проверку. Программа проверяет точные байты целевого кода и каждый итоговый набор нашим Go CLI с instant-0b87c52 перед вызовом читателя.
Основные результаты — доля обновлённых документов и качество ответов независимого читателя в каждой группе на тех же двух случаях, с включением всех ожидаемых пар в знаменатель. Также сообщайте об обновлениях понятий, устаревших и неверных ответах, отказах и неоцениваемых ответах, сбоях выполнения, начальном и итоговом состоянии проверки, проверке CLI, токенах и отсутствующих данных использования. Применяйте закоммиченную программу оценки upkeepstudy analyze без ручного редактирования строк. Наряду с процентами приводите количества; при двух случаях различия следует считать описательными. Воздействие в группе с проверкой включает напоминание, результат проверки и дополнительную возможность редактирования, поэтому эффект одной проверки выделить нельзя. reviewed_updated доказывает изменение файлов понятий, а не истинность их утверждений.
Запускайте из корня репозитория на зафиксированном чистом коммите. До любого вызова модели проверьте все хеши выше, git status --porcelain, версию CLI и два выведенных хеша промптов. Сохраните план в каталоге запуска до выполнения, поскольку /private/tmp — временное хранилище. Создайте новый каталог запуска: программа создаёт строки и аудит исключительно как новые файлы и должна завершиться ошибкой, если они существуют. При отличии любого зафиксированного значения используйте новый идентификатор. Команда ниже предполагает разрешение именно на эту передачу данных и бюджет; документация сама разрешения не даёт.
export OKF_UPKEEP_CODEX_RUNTIME=/Applications/ChatGPT.app/Contents/Resources/codex
export OKF_UPKEEP_CODEX_VERSION=codex-cli\ 0.155.0-alpha.16.3
export OKF_UPKEEP_CODEX_SHA256=c67698d0990aae05211d9c43ab343ad9517e406824dea77eca103a2806232b3a
export OKF_UPKEEP_WRITER_MODEL=gpt-6-luna
export OKF_UPKEEP_CONSUMER_MODEL=gpt-6-luna
export OKF_UPKEEP_REASONING_EFFORT=low
mkdir benchmark/agent/runs/20260926-upkeep-live-v1
cp /private/tmp/okf-upkeep-live-v1-plan.json benchmark/agent/runs/20260926-upkeep-live-v1/plan.json
/private/tmp/okf-upkeep-live \
-plan benchmark/agent/runs/20260926-upkeep-live-v1/plan.json \
-rows benchmark/agent/runs/20260926-upkeep-live-v1/rows.json \
-audit benchmark/agent/runs/20260926-upkeep-live-v1/audit.json \
-adapter /private/tmp/okf-upkeep-codex-adapter \
-max-calls 12 -max-seconds 600 -max-tokens 200000 -call-seconds 45
go run ./benchmark/agent/upkeepstudy analyze \
-plan benchmark/agent/runs/20260926-upkeep-live-v1/plan.json \
-rows benchmark/agent/runs/20260926-upkeep-live-v1/rows.json \
> benchmark/agent/runs/20260926-upkeep-live-v1/report.json
Если все этапы успешны, схема требует десять вызовов: два случая × (автор + читатель без проверки, автор + редактура + читатель с проверкой). 12 — жёсткий максимум, а не разрешение на дополнительные повторы или случаи. У каждого вызова внешний тайм-аут 45 секунд, у всего запуска — 600 секунд; внутренний срок адаптера — 38 секунд. Остановка после 200 000 токенов проверяется после вызова и может быть превышена на этот вызов. Использование подсчитывается по событиям Codex. Если вызов завершается с ошибкой до получения этих данных, сохраните сбой и остановитесь; не считайте его нулевыми токенами. Цена USD и долларовый лимит недоступны. Codex получает выдержки исходников случаев, исходные и пересмотренные документы OKF, результаты проверки во временном рабочем каталоге только для чтения; его служебное состояние может храниться вне рабочего каталога. Ответы автора и читателя и данные использования становятся локальными строками и материалами аудита.
До интерпретации отчёта требуйте наличие audit.json.complete и совпадение его rows_sha256 и audit_sha256 с сохранёнными файлами; проверьте хеши плана, управляющей программы и адаптера в аудите, calls, tokens, unknown_usage_calls, stopped, события каждого этапа и уникальность идентификаторов сессий. Отсутствие маркера завершения или valid=false должно быть отражено явно, сохраняя сбои выполнения и отсутствующие пары в знаменателе. Сохраняйте исходные строки, аудит, маркер и отчёт даже при неудаче эксперимента; не запускайте его незаметно повторно и не подменяйте реальные свидетельства тестами с подставным адаптером. Два независимых субагента должны проверить итоговый результат на полноту и корректность до приёмки задачи 013.