Сколько стоит AI-функция в продукте: токены, инфраструктура, разработка

Стоимость AI-функции складывается из трёх частей: разработка (интеграция, данные, проверка качества), регулярные расходы на вызовы модели по токенам и инфраструктура вокруг — поиск, хранилища, мониторинг. Разработка обычно самая крупная разовая статья, а расходы на токены растут вместе с числом пользователей, поэтому их нужно считать до запуска.

Разберём, как посчитать каждую часть, на чём можно сэкономить и какие затраты чаще всего забывают.

Из чего складывается стоимость AI-функции?

Стоимость AI-функции складывается из разовых затрат на разработку и регулярных затрат на работу: вызовы модели, инфраструктуру и поддержку качества. Вызов модели — лишь часть расходов, и часто не самая большая.

Статья	Тип затрат	Что входит
Исследование и прототип	Разовые	Проверка, решает ли модель задачу на ваших данных
Разработка	Разовые	Сбор контекста, промпты, валидация, интерфейс, интеграции
Набор для оценки качества	Разовые и регулярные	Примеры с правильными ответами, прогон при каждом изменении
Вызовы модели	Регулярные	Оплата входящих и исходящих токенов
Инфраструктура	Регулярные	Векторный поиск, очереди, хранение журналов, GPU для своих моделей
Поддержка	Регулярные	Разбор ошибок, обновление промптов и моделей, мониторинг затрат

Архитектуру, из которой вытекают эти статьи, мы разбирали в статье как встроить LLM в продукт.

Как посчитать расходы на токены?

Расходы на токены считают по формуле: число вызовов × (входящие токены × цена входящих + исходящие токены × цена исходящих). Цены публикуют провайдеры, и они различаются между моделями в десятки раз, поэтому расчёт стоит сделать для нескольких вариантов.

Условный пример: ассистент поддержки на базе знаний
  обращений в месяц                 20 000
  входящие токены на вызов          3 000  (вопрос + найденные фрагменты + инструкции)
  исходящие токены на вызов         400
  цена входящих                     X за 1 млн токенов
  цена исходящих                    Y за 1 млн токенов

Расходы в месяц = 20 000 × (3 000 × X + 400 × Y) / 1 000 000
                = 60 × X + 8 × Y

Подставьте актуальные цены выбранных моделей — и станет видно, как выбор модели влияет на бюджет. Обратите внимание, что входящих токенов обычно в разы больше исходящих: контекст из документов и инструкции занимают основную часть запроса.

Фото: Unsplash

Что увеличивает расходы незаметно

• длинная история диалога, которая передаётся целиком при каждом сообщении;
• избыточный контекст — десять фрагментов документов там, где хватило бы трёх;
• повторные вызовы при ошибках валидации;
• агентные сценарии, где модель делает несколько вызовов подряд на один запрос пользователя.

Как снизить расходы на модель?

Расходы на модель снижают выбором подходящей модели под каждую задачу, сокращением контекста и использованием механизмов провайдеров для повторяющихся запросов. Часто экономия в несколько раз достигается без потери качества.

Что работает:

1. Маршрутизация по сложности: простые запросы — на быструю дешёвую модель, сложные — на мощную.
2. Кеширование: одинаковые ответы — из своего кеша; повторяющийся контекст — через кеширование промптов, если провайдер его поддерживает.
3. Пакетная обработка: фоновые задачи без срочности многие провайдеры обрабатывают дешевле в пакетном режиме.
4. Сокращение контекста: меньше, но точнее найденных фрагментов; сжатие истории диалога.
5. Лимиты: максимальная длина ответа, лимиты на пользователя и день.

Сколько стоит разработка AI-функции?

Разработка AI-функции стоит примерно как разработка обычной функции сопоставимого масштаба плюс работа над данными и проверкой качества. Прототип на готовом API собирается за дни, а надёжная функция для клиентов — обычно за несколько недель; основное время уходит на подготовку данных и доведение качества.

От чего зависит объём работ:

• насколько готовы и чисты данные, на которые опирается функция;
• нужен ли поиск по документам и какого они объёма;
• насколько высока цена ошибки и нужна ли ручная проверка результатов;
• сколько интеграций: CRM, база знаний, система заявок;
• требования к данным: можно ли использовать облачных провайдеров или нужны свои модели.

Как проверить, что смета на такую работу полная, — в статье как читать смету на разработку.

Когда выгоднее своя модель, а когда облачный API?

Облачный API выгоднее на старте и при умеренном объёме: не нужны GPU и команда для эксплуатации, а платить приходится только за фактические вызовы. Своя открытая модель может стать выгоднее при большом стабильном объёме запросов или когда данные нельзя передавать внешнему провайдеру.

Что учитывать при сравнении:

• стоимость GPU-серверов работает круглосуточно, даже когда запросов нет;
• нужны люди, которые будут обновлять, масштабировать и мониторить модели;
• качество открытых моделей для вашей задачи нужно проверить на своём наборе примеров;
• гибридная схема — облако для сложных задач, своя модель для массовых простых — часто оптимальна.

Коротко

• Стоимость AI-функции — это разработка, токены, инфраструктура и поддержка качества.
• Токены считайте по формуле с актуальными ценами нескольких моделей; входящих токенов обычно больше.
• Экономят маршрутизация по сложности, кеширование, пакетная обработка и короткий контекст.
• Разработка надёжной функции занимает недели, основное время — данные и проверка качества.
• Облачный API выгоднее на старте; своя модель — при большом стабильном объёме или строгих требованиях к данным.