Архивный отчёт от 26 сентября 2026 года. Эта версия для чтения сохраняет результаты и ограничения исходного запуска; она не является актуальным руководством по продукту. Исходный отчёт, проверенная ревизия 61e75e9aa9a8719dfb480bf1f5226553b3a21d70.

Сравнение с добавлением только метаданных — 2026-09-26

Заранее зарегистрированный протокол выполнен на чистом коммите dd8989ba36b8e27ac5762e2e0984cac7f88e8738 с зафиксированной редакцией SPEC 0b87c52c6ef999286c745e19998fdfcd03d5dbee, моделью gpt-6-luna с низким уровнем рассуждений и corpus/metadata_cases.json (SHA-256 4fd2222f07b91cacda4e8f15b0b34792f41d962a151e2ddc95760b8329b1745a). Экспериментальная группа добавляет заголовок YAML OKF к тем же текстам, содержащим ответы, которые показаны контрольной группе. Обе группы использовали адаптер со скрытыми обозначениями (SHA-256 8f132bc3d12aeb1ea78d74642156427c1921a35b28d60f12b1296354a0b44ea9) без представлений данных Go CLI. План, исходные записи и отчёт сохраняют завершённый запуск. Анализатор воспроизводит сохранённый отчёт байт в байт:

GOCACHE=/private/tmp/okf-agent-gocache GOPROXY=off GOSUMDB=off GOTOOLCHAIN=local go run \
  ./benchmark/agent/cmd/okf-agent-eval analyze \
  -corpus benchmark/agent/corpus/metadata_cases.json \
  -plan benchmark/agent/runs/20260926-metadata-only-v2/plan.json \
  -rows benchmark/agent/runs/20260926-metadata-only-v2/rows.jsonl

Все восемь запланированных вызовов завершились: четыре случая в каждой группе, один повтор, без пропущенных или некорректных записей и операционных сбоев. Отчёт содержит valid=true. Контрольная и экспериментальная группы дали по 4/4 правильных ответа, без устаревших, неправильных, не поддающихся оценке ответов или отказов. Парные ответы и ссылки на current совпадают между группами: PostgreSQL, No, Insufficient evidence («недостаточно данных») и 0.2. Таким образом, измеренная разница в долях фактических ошибок и завершённых испытаний в этом наборе равна нулю. В обеих группах модель не вызывала инструменты.

Наблюдаемое потребление входных и выходных токенов — 121,498 + 220 = 121,718 токенов за восемь вызовов: 60,736 в контрольной группе и 60,982 в экспериментальной. Кэшированных входных токенов было 26,112 и 53,248 соответственно; они указаны отдельно и не являются дополнительными вызовами. Суммарное время модели — 46.001 секунды. Адаптер не предоставил цену в USD, поэтому стоимость неизвестна, а не равна нулю.

Это описательный пилот с четырьмя парами и одним повтором. Одинаковые результаты не доказывают бесполезность метаданных OKF в других случаях: здесь обычный текст и признаки актуальности уже поддерживали правильные ответы. Запуск не проверяет самостоятельное использование CLI, чтение каждого предоставленного артефакта или общий эффект качества на уровне репозитория. Более ранний протокол v1 не содержал наблюдений модели и не входит в эти знаменатели.