Исторический материал для чтения. Оригинал на английском: benchmark/agent/upkeeplive/LIVE-V2.md, ревизия репозитория 61e75e9aa9a8719dfb480bf1f5226553b3a21d70 (2026-10-04). Перевод сохраняет методику, даты, измерения и статус, зафиксированные в этой ревизии. Исторические результаты относятся к описанным запускам; они не описывают текущий продукт и не служат рекомендацией запускать агентов сегодня.
Этот документ фиксирует upkeep-live-20260926-v2 до любого вызова модели v2. Это новый запуск на тех же двух синтетических случаях, а не переинтерпретация v1. Запуск моделей v1 завершился, но зарегистрированный анализатор отклонил текстовую цитату в ответе upkeep-truncated при включённой проверке; последующий анализ чувствительности не делает v1 допустимым основным результатом. V2 использует закоммиченную программу оценки на чистом коммите dd8989ba36b8e27ac5762e2e0984cac7f88e8738. Она считает ссылку, отсутствующую среди идентификаторов материалов итогового набора автора, неоцениваемой (кроме ответов-отказов и сбоев выполнения). Точные ответы, допустимые варианты, устаревшие ответы, данные случаев и тексты промптов сохранены; подбора вариантов ответа после результата нет. Ни v1, ни v2 на двух случаях не доказывают пользу продукта.
Запускайте только после нового явного разрешения на внешнюю передачу данных и бюджет ниже. Прежнее разрешение на v1 не распространяется на v2. До обращения к модели рабочая копия, зафиксированный план, управляющая программа, адаптер, набор случаев, среда запуска и хеши промптов должны совпадать. Изменение любого значения требует нового плана, идентификатора запуска и разрешения.
| Входные данные | Путь | SHA-256 |
|---|---|---|
| Чистый коммит исходников | репозиторий | dd8989ba36b8e27ac5762e2e0984cac7f88e8738 |
| Исходный набор случаев | benchmark/agent/corpus/backfill_cases.json |
4c23a1ce55f666c737dde8eea0baf44ba82d5e0365585b98a699a72a2a03f85f |
| Производный набор из двух случаев | benchmark/agent/corpus/upkeep_cases.json |
60701847761a868ad0ab8de31b5d7884d023fa42e82d13851c5ec4942b2dfe3d |
| Зафиксированный план | /private/tmp/okf-upkeep-live-v2-plan.json |
98f16ab46d4241bf6a8cfb8dcd7f3ff45189021dee362d5c0fc65073b38adc7f |
| Управляющая программа со встроенной Go-проверкой | /private/tmp/okf-upkeep-live-v2 |
22447dcbe34ca77b08c61b3667adcac331bc6b00689fa32994f3df8dea452eed |
| Адаптер Codex | /private/tmp/okf-upkeep-codex-adapter-v2 |
1cfff326d7c74c7e14687b30ad3c55ce3707443a3a88c11ce5a016ed37ccaead |
| Codex CLI | /Applications/ChatGPT.app/Contents/Resources/codex |
c67698d0990aae05211d9c43ab343ad9517e406824dea77eca103a2806232b3a |
Версия CLI — codex-cli 0.155.0-alpha.16.3. Автор и независимый читатель используют gpt-6-luna с уровнем рассуждений low, один повтор. SHA-256 промпта автора сохранён: f755ee7995f9f39e4383fc751ef55fc7fca1edb000f5036ab33fb57b38fa139e; SHA-256 промпта читателя сохранён: 86a8d806fceaddea4b93cb28e09122115c4fe234e2410e0e20c1c4067e5e6f59. План фиксирует оба хеша и модели, два случая, один повтор и хеш управляющей программы как checker_sha256. Его source_corpus_sha256 — хеш исходного набора backfill; производный набор имеет отдельный хеш выше.
Обе группы начинают с одинакового закоммиченного кода и документов OKF в новых временных Git-репозиториях. upkeep-reversal меняет режим A на B; upkeep-truncated заменяет полные свидетельства развёртывания частичной записью. Автор обязан точно применить целевой код и вернуть полный итоговый набор. При выключенной проверке новый читатель читает только этот набор и вопрос. При включённой автор видит напоминание о пересмотре OKF, получает настоящий результат Go-проверки после первого черновика и ещё одну попытку редактирования моделью. Отдельный новый читатель читает лишь итоговый набор и вопрос. Ему не показывают исходный код, название группы, результат проверки, диалог автора и эталонный ответ. Программа проверяет точные байты целевого кода и итоговый набор Go CLI с instant-0b87c52 до вызова читателя.
Основные результаты — доля обновлённых документов и качество ответов независимого читателя в каждой группе. Включайте все две ожидаемые пары каждой группы в знаменатель. Закоммиченная программа оценки upkeepstudy analyze требует, чтобы строки цитируемых свидетельств были идентификаторами материалов в итоговом наборе автора этой группы. Неподдерживаемые идентификаторы делают ответы, кроме отказов и сбоев выполнения, неоцениваемыми, даже когда текст ответа совпадает с ожидаемым. Не исправляйте и не переинтерпретируйте ответы после запуска. Сообщайте о правильных, устаревших, неверных ответах, отказах, неоцениваемых ответах, неподдерживаемых цитатах, сбоях выполнения, изменениях понятий, начальном и итоговом состоянии проверки, проверке CLI, токенах и отсутствующих данных использования — в количествах и долях. Состояние reviewed_updated означает только изменение файла понятия. Группа с проверкой объединяет напоминание, результат проверки и ещё одну редактуру, поэтому описательное различие не выделяет эффект самой проверки.
Запускайте из чистой рабочей копии на зафиксированном коммите. Выходной каталог расположен в /private/tmp, чтобы зафиксированная копия оставалась чистой для остальных исследований. Файлы строк и аудита создаются исключительно как новые. Команда предполагает разрешение; сам документ его не даёт.
set -e
set -o pipefail
test -z "$(git status --porcelain --untracked-files=all)"
test "$(git rev-parse HEAD)" = dd8989ba36b8e27ac5762e2e0984cac7f88e8738
check_sha() { test "$(shasum -a 256 "$1" | cut -d ' ' -f 1)" = "$2"; }
check_sha benchmark/agent/corpus/backfill_cases.json 4c23a1ce55f666c737dde8eea0baf44ba82d5e0365585b98a699a72a2a03f85f
check_sha benchmark/agent/corpus/upkeep_cases.json 60701847761a868ad0ab8de31b5d7884d023fa42e82d13851c5ec4942b2dfe3d
check_sha /private/tmp/okf-upkeep-live-v2-plan.json 98f16ab46d4241bf6a8cfb8dcd7f3ff45189021dee362d5c0fc65073b38adc7f
check_sha /private/tmp/okf-upkeep-live-v2 22447dcbe34ca77b08c61b3667adcac331bc6b00689fa32994f3df8dea452eed
check_sha /private/tmp/okf-upkeep-codex-adapter-v2 1cfff326d7c74c7e14687b30ad3c55ce3707443a3a88c11ce5a016ed37ccaead
check_sha /Applications/ChatGPT.app/Contents/Resources/codex c67698d0990aae05211d9c43ab343ad9517e406824dea77eca103a2806232b3a
test "$(/Applications/ChatGPT.app/Contents/Resources/codex --version)" = 'codex-cli 0.155.0-alpha.16.3'
test "$(/private/tmp/okf-upkeep-codex-adapter-v2 --print-prompt-sha256)" = "$(printf 'writer=f755ee7995f9f39e4383fc751ef55fc7fca1edb000f5036ab33fb57b38fa139e\nconsumer=86a8d806fceaddea4b93cb28e09122115c4fe234e2410e0e20c1c4067e5e6f59')"
test ! -e /private/tmp/okf-upkeep-live-v2-output
export OKF_UPKEEP_CODEX_RUNTIME=/Applications/ChatGPT.app/Contents/Resources/codex
export OKF_UPKEEP_CODEX_VERSION=codex-cli\ 0.155.0-alpha.16.3
export OKF_UPKEEP_CODEX_SHA256=c67698d0990aae05211d9c43ab343ad9517e406824dea77eca103a2806232b3a
export OKF_UPKEEP_WRITER_MODEL=gpt-6-luna
export OKF_UPKEEP_CONSUMER_MODEL=gpt-6-luna
export OKF_UPKEEP_REASONING_EFFORT=low
mkdir /private/tmp/okf-upkeep-live-v2-output
cp /private/tmp/okf-upkeep-live-v2-plan.json /private/tmp/okf-upkeep-live-v2-output/plan.json
/private/tmp/okf-upkeep-live-v2 \
-plan /private/tmp/okf-upkeep-live-v2-output/plan.json \
-rows /private/tmp/okf-upkeep-live-v2-output/rows.json \
-audit /private/tmp/okf-upkeep-live-v2-output/audit.json \
-adapter /private/tmp/okf-upkeep-codex-adapter-v2 \
-max-calls 10 -max-seconds 600 -max-tokens 200000 -call-seconds 45
GOCACHE=/private/tmp/okf-agent-gocache go run ./benchmark/agent/upkeepstudy analyze \
-plan /private/tmp/okf-upkeep-live-v2-output/plan.json \
-rows /private/tmp/okf-upkeep-live-v2-output/rows.json \
> /private/tmp/okf-upkeep-live-v2-output/report.json
Запланированы десять вызовов: на каждый случай автор и читатель без проверки, а также первый автор, редактура и читатель с проверкой. Десять — жёсткий максимум без дополнительных случаев, повторов и повторных попыток. Весь запуск ограничен 600 секундами, каждый вызов — 45 секундами (внутренний срок адаптера — 38 секунд). Остановка после 200 000 входных и выходных токенов проверяется после каждого вызова, поэтому один вызов может её превысить. Стоимость USD и долларовый лимит недоступны. Внешний сервис OpenAI Codex получает синтетические выдержки исходников случаев, исходные и пересмотренные документы OKF, результаты проверки и вопросы читателю. Каждый вызов использует временную оболочку только для чтения; служебное состояние Codex может быть вне рабочего каталога. Ответы, использование и аудит этапов сохраняются локально.
Сохраняйте исходные rows.json, audit.json, audit.json.complete, план и отчёт, включая сбои. Сверяйте rows_sha256 и audit_sha256 маркера с сохранёнными файлами; проверяйте в аудите хеши плана, управляющей программы и адаптера, число вызовов, наблюдаемые токены, неизвестное использование, причину остановки, события по этапам и разные идентификаторы сессий. Если маркер отсутствует, оценка завершается ошибкой или отчёт содержит valid=false, описывайте запуск как недействительный, сохраняя отсутствующие пары в знаменателе. Не перезапускайте незаметно. До приёмки задачи 013 два независимых субагента должны проверить полноту и корректность.