Контекст LLM для архитектора систем

Длинная агентская сессия расходует окно на инструкции, схемы инструментов, результаты вызовов и историю. Когда помощник теряет условия задачи, смена модели не объясняет, где именно возникла проблема. Этот курс учит разбирать состав контекста, считать его бюджет и связывать замеры с архитектурой системы.

Курс для разработчиков ИИ-помощников и архитекторов агентских процессов. Семь модулей с интерактивными расчётами, графиками, вопросами для самопроверки и итоговым зачётом. Можно открыть сразу нужный модуль. Прохождение без регистрации; прогресс текущего плеера сохраняется только пока открыта страница и сбрасывается при перезагрузке.

Что разберём

1. Из чего состоит окно: системный блок, инструменты, результаты вызовов, токенизация и бюджет.
2. Внимание и деградация: чем заявленная длина отличается от рабочей.
3. Цена длины: время до первого токена, KV-кеш и ограничения памяти.
4. Кеш промпта: попадания, инвалидация и расчёт окупаемости.
5. Недетерминизм: почему одинаковые запуски расходятся и как сравнивать прогоны.
6. Следствия для архитектуры: выбор инструментов, управление сессией, внешняя память и границы делегирования.
7. Что не подтвердилось: различение измерений, заявлений поставщиков и неподтверждённых пересказов; итоговый зачёт.

Практика в плеере

В первом модуле можно менять объём окна, системный блок, количество инструментов, размер их схем и число ходов. Расчёт показывает занятую часть и остаток под работу. Это оценочная модель: точное число токенов конкретного запроса нужно измерять средствами выбранного провайдера.

Далее — симуляторы памяти и параллельных запросов, расчёт кеширования и диагностика архитектурного решения. Числа примеров привязаны к описанным конфигурациям и источникам внутри курса; их не следует переносить на другую модель как универсальные пределы.

После курса

• Разложить окно на слагаемые и назвать, что занимает место.
• Отличить заявленную длину окна от рабочей и объяснить, как это проверяют.
• Оценить время до первого токена и размер KV-кеша до запуска.
• Найти точку инвалидации кеша и посчитать порог окупаемости.
• Объяснить расхождения одинаковых прогонов и определить данные для сравнения.
• Выбирать инструменты и системный блок по замерам.
• Отделять измерение от заявления поставщика и неподтверждённого пересказа.

Рядом на сайте

Денежная сторона процесса разобрана в материале о стоимости токенов. Для диагностики поведения пригодится разбор нестабильности ИИ-агента. Следующий слой системы — курс Harness Engineering.

Если нужно разобрать ваш процесс, опишите задачу студии: какие условия помощник теряет, какие данные читает и как вы проверяете результат.