Покупать токены, арендовать GPU или купить свою? Считаем inference солопренера

Это четыре разных покупки

Прямой model API покупает конкретную модель провайдера, его rate limits, правила данных и биллинг. OpenRouter покупает один API, общий баланс, routing, fallbacks и широкий каталог. Арендованная GPU покупает machine time. Своя GPU — амортизируемую мощность, электричество, тепло и очередь эксплуатации.

OpenRouter сейчас передаёт provider list price и берёт 5.5% при покупке кредитов с минимумом $0.80. У BYOK отдельная квота и fee policy. Бесплатные модели имеют строгие суточные лимиты и не являются production capacity plan.^[1][2]

Прямые провайдеры по-разному считают caching, batch, context и rate tiers. Anthropic, например, включает повышенную long-context ставку после документированного input threshold и даёт 50% скидку Batch API. Самая дешёвая headline-модель становится дорогой, если доминируют output или uncached context.^[5]

Первая оптимизация — учёт, а не железо

Считайте цену продуктового действия: один ответ поддержки, одно извлечение документа, одно изображение, одна завершённая задача агента. Сумма токенов без результата пользователя создаёт видимость эффективного routing при неэкономичном продукте.

OpenRouter показывает usage по провайдеру, модели и ключу, а также актуальный кредитный баланс. Прямые OpenAI и Anthropic API возвращают usage fields, которые стоит хранить рядом с latency запроса, errors, retries и ID продуктовой операции.^[2][3][4][5]

Break-even GPU — в основном график utilisation

Runpod публикует почасовые цены GPU от небольших 24 GB карт до 96 GB и datacenter GPU. RTX 5090 можно арендовать по часам, а serverless workers берут более высокую active rate за эластичность. Persistent storage и idle pod time всё равно требуют явного teardown.^[7]

Локальная RTX 5090 имеет 32 ГБ памяти, 575 Вт total graphics power и требует систему примерно на 1000 Вт. Профессиональная RTX PRO 6000 имеет 96 ГБ ECC и максимум 600 Вт. VRAM определяет, какая модель и batch помещаются, раньше номинальной скорости compute.^[8][9]

При $0.20/кВт⋅ч система на 700 Вт, работающая постоянно, стоит около $102/месяц до охлаждения. Добавьте трёхлетнюю амортизацию, downtime, сеть и время основателя. При 10% полезного utilisation большая часть fixed cost производит тепло, а не токены.

Покупайте по стадиям

Начните с прямого API, если один провайдер и одна модель способны проверить продукт. Добавляйте OpenRouter, когда routing, fallback, общий учёт или быстрые эксперименты с моделями стоят комиссии. Для privacy-sensitive запросов фиксируйте provider selection явно.

Арендуйте GPU после того, как open model прошла реальную оценку и почасовой спрос измерен. Покупайте железо только при стабильно высокой загрузке аренды, подходящем VRAM и приемлемом fallback на время простоя.

• Прототип: один прямой API, prepaid budget где возможно, cost telemetry по функциям.
• Multi-model продукт: gateway или OpenRouter с per-key limits и privacy-aware routing.
• Стабильный спрос на open model: арендованная GPU с autoscaling и бюджетом retained volume.
• Постоянный private inference: своё железо, cloud fallback и проверенный recovery path.