SKILL.state: input, кеш и output
Эта заметка дополняет первую статью об экспериментах с SKILL.state, где описаны протоколы, условия запусков и критерии полного успеха.
Данные этой заметки — серия Codex от 8–9 сентября: две модели, четыре режима, пять проектов и пять повторов каждого проекта. В каждой строке 25 сессий; в суммы включены таймауты и неуспешные запуски.
Input — токены основного цикла, включая кешированные. «Из кеша» — доля этих
токенов, которую провайдер отнёс к cached input. Output — сгенерированные
моделью токены основного цикла.
| Модель | Режим | Input, млн | Из кеша | Некешированный input, млн | Output, тыс. | Полный успех |
|---|---|---|---|---|---|---|
| Sol | Native | 6,367 | 89,4% | 0,673 | 270,8 | 24/25 |
| Sol | Paper | 9,215 | 78,9% | 1,946 | 402,7 | 19/25 |
| Sol | V2 | 4,077 | 52,3% | 1,943 | 221,4 | 23/25 |
| Sol | V3 | 4,180 | 47,2% | 2,207 | 251,9 | 25/25 |
| Astra | Native | 2,734 | 85,3% | 0,402 | 150,0 | 25/25 |
| Astra | Paper | 15,318 | 75,0% | 3,833 | 324,5 | 16/25 |
| Astra | V2 | 2,654 | 63,7% | 0,964 | 133,6 | 25/25 |
| Astra | V3 | 2,340 | 56,5% | 1,018 | 130,5 | 25/25 |
Режимы: Native — обычный цикл агента; Paper — первая адаптация SKILL.state с одним текстовым наблюдением; V2 — структурированное состояние и окно из трёх наблюдений; V3 — V2 с последовательными пакетами действий.
Что видно в цифрах
- V2 и V3 сокращают совокупные input и output относительно Native в обеих моделях. У Sol V2: input −36,0%, output −18,2%. У Astra V3: input −14,4%, output −13,0%.
- Сокращение общего input сопровождается меньшей долей кешированных токенов. У Sol она падает с 89,4% в Native до 52,3% в V2; у Astra — с 85,3% до 56,5% в V3. Некешированный input при этом растёт.
- Paper увеличивает оба потока токенов и реже завершает задачи. У Astra он использовал в 5,6 раза больше input и в 2,2 раза больше output, чем Native; полный успех — 16/25 против 25/25.
- У Sol V2 использует меньше input и output, чем V3, но завершает 23/25 задач против 25/25. У Astra V3 выигрывает у V2 по обоим объёмам при одинаковом полном успехе.
Доля «из кеша» показывает структуру input-токенов, а не долю запросов с
попаданием в кеш. Она не равна денежной экономии: для расчёта стоимости нужны
раздельные тарифы на обычный input, cached input и output. Output также не
измеряет качество или объём итогового кода.