Когда компания решает запустить у себя языковую модель, систему компьютерного зрения или обучение нейросети, первый вопрос звучит так: «Какую видеокарту купить?». На практике это второй вопрос. Сначала нужно понять, какую модель вы будете запускать, в какой точности, сколько людей или систем будут обращаться к ней одновременно и будете ли вы её дообучать. От ответов зависит, хватит ли одной карты на 24 ГБ или нужен сервер с четырьмя ускорителями и отдельной линией питания.

Ниже — как устроен расчёт, какие видеокарты используют в GPU-серверах и какие конфигурации подходят под типовые задачи.

GPU-сервер — это сервер, в котором основную вычислительную работу выполняют графические ускорители. Нейросети сводятся к огромному количеству однотипных матричных операций, и GPU выполняет их параллельно на тысячах ядер. Центральный процессор в такой системе готовит данные, управляет задачами и обслуживает остальную инфраструктуру.

От рабочей станции с игровой видеокартой серверная платформа отличается несколькими вещами:

• в неё можно установить от 2 до 8 ускорителей, и каждому достанутся полноценные линии PCIe;
• блоки питания резервированы и рассчитаны на несколько киловатт;
• воздушный поток спроектирован под плотную установку карт с пассивным охлаждением;
• есть память с коррекцией ошибок (ECC) и удалённое управление через BMC/IPMI, поэтому сервер можно перезагрузить и диагностировать без выезда к стойке.

Для экспериментов подойдёт и рабочая станция. Но у потребительских карт есть ограничения для постоянной работы: объём памяти до 24–32 ГБ и активное охлаждение, которое плохо ведёт себя в плотной стойке. Кроме того, лицензионное соглашение драйвера NVIDIA GeForce не предусматривает развёртывание в дата-центрах. Если сервер планируется разместить в ЦОД, это стоит учесть заранее.

GPU-сервер для машинного обучения нужен там, где вычисления хорошо распараллеливаются. Для нейросетей и LLM это почти всегда так, но требования к железу у разных задач разные.

Для обучения важны прежде всего вычислительная мощность и масштабирование на несколько карт. Для инференса — объём и скорость видеопамяти, задержка ответа и число одновременных запросов. Поэтому GPU-сервер для обучения и GPU-сервер для инференса часто собирают по-разному, даже если в них стоят одинаковые ускорители.

GPU-сервер для LLM подбирают прежде всего по видеопамяти (VRAM): это главный ограничитель. Если модель и её рабочие данные не помещаются в память видеокарты, запуск завершится ошибкой out of memory или модель придётся частично выгружать в оперативную память, и скорость упадёт в разы.

Базовая формула простая: количество параметров × количество байт на параметр. В точности FP16 или BF16 каждый параметр занимает 2 байта, в FP8 или INT8 — 1 байт, в 4-битном квантовании — около 0,5 байта плюс служебные данные.

Это только веса. Сверху нужно заложить память на KV-кэш и среду выполнения — и именно здесь чаще всего ошибаются.

Во время генерации модель хранит промежуточные данные по каждому токену контекста — это и есть KV-кэш. Его объём растёт с длиной контекста и с числом одновременных запросов.

Посчитаем на примере Llama 3.1 8B: 32 слоя, 8 KV-голов размерностью 128. В FP16 один токен контекста занимает 2 × 32 × 8 × 128 × 2 байта = 128 КБ. Один запрос с контекстом 8 тысяч токенов — около 1 ГБ. Если к модели одновременно обращаются 16 пользователей с таким контекстом, KV-кэш займёт около 16 ГБ — столько же, сколько сами веса модели в FP16.

Для Llama 3 70B (80 слоёв) тот же расчёт даёт около 320 КБ на токен. Один запрос с контекстом 32 тысячи токенов требует примерно 10 ГБ сверх весов.

Отсюда практический вывод: объём VRAM считают не под модель, а под рабочую нагрузку — модель, длину контекста и число одновременных запросов. Запас в 20–30% сверх расчёта избавит от неприятных сюрпризов при росте нагрузки.

При генерации каждого нового токена GPU заново читает все веса модели из видеопамяти. Поэтому скорость ответа одному пользователю упирается в пропускную способность памяти. Грубая верхняя оценка: пропускная способность, делённая на размер весов.

Модель на 8 млрд параметров в FP16 весит около 16 ГБ. На карте с памятью 300 ГБ/с теоретический потолок — около 18 токенов в секунду, на карте с 864 ГБ/с — около 50, на карте с 3,35 ТБ/с — около 200. Реальные цифры ниже, но соотношение между картами сохраняется. Квантование в 4 бита уменьшает объём весов и ускоряет генерацию примерно пропорционально.

Ниже — ускорители NVIDIA, которые чаще всего встречаются в серверах для ИИ. Характеристики приведены по данным производителя. Доступность и цены на рынке меняются, поэтому актуальные варианты проверяют при подборе.

Две детали, которые часто упускают при выборе:

• FP8. Карты поколений Ada Lovelace (L4, L40S, RTX 6000 Ada) и Hopper (H100, H200) поддерживают FP8 аппаратно, A100 — нет. Если модель планируется запускать в FP8, A100 будет работать с ней менее эффективно.
• NVLink. Прямая связь между картами есть у A100 и H100, но её нет у L4, L40S и RTX 4090. Для инференса моделей, которые помещаются в одну-две карты, это некритично. Для обучения на 4–8 GPU отсутствие NVLink заметно замедляет обмен данными между ускорителями.

Таблица — ориентир для первого разговора с инженером, а не готовая спецификация. Точную конфигурацию считают под конкретную модель, длину контекста и нагрузку.

Почему полное дообучение требует настолько больше ресурсов, чем запуск той же модели? При обучении с оптимизатором Adam в смешанной точности на каждый параметр приходится около 16 байт: веса, градиенты и состояния оптимизатора. Для модели на 8 млрд параметров это около 128 ГБ ещё до учёта активаций — больше, чем есть у одной карты. Метод QLoRA решает задачу иначе: основная модель хранится в 4 битах, а обучаются только небольшие адаптеры. Поэтому дообучить модель на 8 млрд параметров этим способом можно на одной карте с 24 ГБ.

Дорогие ускорители простаивают, если остальная платформа не успевает их загружать. NVIDIA в рекомендациях для серверов обучения и инференса приводит такие ориентиры: не меньше 6 физических ядер процессора на каждый GPU и объём оперативной памяти не меньше двойного суммарного объёма видеопамяти. Для сервера с четырьмя картами по 80 ГБ это минимум 24 ядра и 640 ГБ RAM.

PCIe. Каждой карте нужен слот PCIe x16 поколения 4.0 или 5.0. В сервере на несколько GPU важно, как карты распределены между процессорами: если все ускорители, сетевая карта и NVMe висят на одном процессоре, данные будут ходить через межпроцессорную шину и тормозить.

NVMe. Быстрые диски нужны для датасетов, чекпойнтов обучения и загрузки весов. Веса модели на 70 млрд параметров в FP16 — это около 140 ГБ. С NVMe-диска они загрузятся примерно за полминуты, по сети 1 Гбит/с — почти за 20 минут. При каждом перезапуске сервиса эта разница ощутима.

Сеть. Для одного сервера сеть важна при загрузке данных и моделей. Когда обучение распределяется на несколько серверов, она становится критичной: NVIDIA для таких конфигураций называет ориентиры 200–400 Гбит/с на GPU. Для компании, у которой данные хранятся в офисе, а сервер стоит в ЦОД, значение имеет и канал между ними: 140 ГБ по каналу 100 Гбит/с передаются примерно за 12 секунд, по каналу 1 Гбит/с — около 20 минут.

Почти вся потребляемая сервером энергия превращается в тепло. Четыре карты L40S потребляют до 1,4 кВт, а весь сервер с ними — 2–2,5 кВт. Сервер на 8 GPU H100 в формате SXM, например NVIDIA DGX H100, потребляет до 10,2 кВт. Это тепловыделение нескольких бытовых обогревателей в одном шкафу, и работать оно будет круглосуточно.

Для такого сервера нужны:

• выделенная электрическая мощность и два независимых ввода питания;
• ИБП, рассчитанный на полную нагрузку;
• охлаждение, которое отводит тепло без перегрева соседнего оборудования;
• защита от пожара и контроль доступа к стойке.

Одну карту начального уровня можно разместить в серверной офиса. Сервер на 4–8 GPU, как правило, разумнее размещать в дата-центре, где всё это уже есть.

Отдельный вопрос — данные. Если модель будет работать с документами, где есть персональные данные клиентов или сотрудников, важно, где физически находится сервер и соответствует ли инфраструктура требованиям 152-ФЗ. Собственный GPU-сервер в российском ЦОД позволяет держать и модель, и данные в своём контуре, не передавая их внешним облачным сервисам.

Интерфоника — технологический провайдер из Иркутска, который 15 лет работает на местном рынке. У компании собственная оптическая сеть и два собственных ЦОДа в Иркутске, а среди услуг для IT-команд — серверы с GPU для машинного обучения, 3D-моделирования, рендеринга, сложных вычислений и аналитики.

Что это даёт при запуске ИИ-проекта:

• Подбор конфигурации под нагрузку. Инженеры подбирают конфигурацию серверов с учётом реальной нагрузки.
• Размещение в собственных ЦОДах без посредников. Площадки построены с резервированием по всем ключевым системам: двойное электропитание, продуманное охлаждение, пожаротушение. Размещение сервера (colocation) — от 5 000 ₽ за юнит.
• Прямой канал до ЦОДа. Бесплатное прямое подключение по оптике со скоростью до 100 Гбит/с. Датасеты и веса моделей можно быстро передавать между офисом и сервером.
• Инфраструктура вокруг GPU. В Интерфонике можно развернуть JupyterHub — рабочее окружение для разработки, анализа данных и обучения моделей, а также кластеры Kubernetes с автомасштабированием, мониторингом и резервным копированием.
• Данные под контролем. Инфраструктура соответствует требованиям 152-ФЗ, есть облако для размещения персональных данных с уровнем защищённости УЗ-2.
• Ресурсы для тестов. IT-специалистам Интерфоника бесплатно выделяет свободные ресурсы под тестовые среды — можно проверить конфигурацию до того, как принимать решение.

Сотрудничество Интерфоники с Иркутским государственным университетом путей сообщения (ИрГУПС) началось с предложения предоставить университету вычислительные ресурсы для научных и академических задач. Об этом рассказывает Юрий Шишкин, начальник управления информатизацией ИрГУПС, в отзыве на сайте.

Сколько видеопамяти нужно, чтобы запустить LLM на 7–8 млрд параметров?
В FP16 веса занимают около 16 ГБ, в 4-битном квантовании — около 5 ГБ. С учётом KV-кэша для нескольких пользователей комфортный минимум — одна карта на 24 ГБ.

Можно ли запустить модель на 70 млрд параметров на одной видеокарте?
В 4-битном квантовании веса занимают около 40 ГБ, поэтому на одной карте с 48 ГБ модель запустится, но запаса под длинный контекст и одновременные запросы почти не останется. Для рабочей нагрузки надёжнее две карты по 48 ГБ, одна на 80 ГБ с коротким контекстом или H200 со 141 ГБ.

Чем GPU-сервер для обучения отличается от сервера для инференса?
Для обучения важны вычислительная мощность, количество GPU и скорость связи между ними (NVLink, сеть). Для инференса — объём и скорость видеопамяти, задержка ответа и число одновременных запросов. Инференс-серверу обычно нужно меньше карт, но с большим объёмом памяти.

Подойдёт ли игровая видеокарта для GPU-сервера?
Для экспериментов и разработки — да. Для круглосуточной работы в дата-центре есть ограничения: лицензия драйвера GeForce не предусматривает использование в ЦОД, а потребительские карты хуже охлаждаются в плотной стойке.

Что выгоднее: аренда GPU-сервера или покупка?
Аренда удобна для пилотов и нерегулярной нагрузки. Если сервер будет загружен постоянно, покупка с размещением в ЦОД обычно окупается. Точный ответ даёт расчёт на конкретной конфигурации и сроке использования.

Где разместить GPU-сервер в Иркутске?
Сервер на 2–8 GPU потребляет от 1 до 10 кВт и требует резервированного питания и охлаждения, поэтому размещение сервера в ЦОД — стандартное решение. В Иркутске у Интерфоники два собственных ЦОДа с двойным электропитанием, продуманным охлаждением и пожаротушением, а до площадки можно бесплатно протянуть прямой оптический канал до 100 Гбит/с.