Компании всё чаще хотят использовать языковые модели для работы с внутренними документами: искать ответы в регламентах, готовить черновики писем и договоров, разбирать обращения клиентов. Публичные сервисы для этого подходят не всегда. Документы могут содержать коммерческую тайну или персональные данные, которые нельзя передавать внешним компаниям. Тогда выбирают запуск LLM на собственном сервере, и сразу возникает вопрос, каким должен быть сервер для локальной LLM.

Разберём, из чего состоит инфраструктура для локальной LLM, какой сервер нужен под разные сценарии и какие решения стоит принять до покупки оборудования.

Основные причины, по которым бизнес выбирает локальный запуск LLM:

• Контроль над данными. Запросы и документы обрабатываются внутри инфраструктуры компании и не передаются сторонним сервисам. Это особенно важно, если в документах есть персональные данные, подпадающие под 152-ФЗ.
• Предсказуемая стоимость. Нет оплаты за каждый токен. При постоянной нагрузке собственный сервер может обходиться дешевле внешнего API.
• Независимость. Работа не зависит от доступности зарубежных сервисов, изменения их условий и ограничений.
• Настройка под себя. Модель можно дообучить на терминологии компании и подключить к внутренним системам.

Есть и обратная сторона: сервер нужно купить или арендовать, настроить и обслуживать, а открытые модели в сложных задачах могут уступать крупнейшим коммерческим.

Сервер для LLM — это центральный, но не единственный элемент.

Языковая модель сама по себе ничего не знает о ваших регламентах. Чтобы она отвечала по внутренним документам, используют схему RAG (Retrieval-Augmented Generation — генерация с поиском). Документы заранее разбивают на фрагменты и сохраняют в векторную базу. Когда сотрудник задаёт вопрос, система находит несколько подходящих фрагментов и передаёт их модели вместе с вопросом. Модель формулирует ответ на основе найденного текста.

Сколько ресурсов нужно на поиск? Меньше, чем кажется. Возьмём 10 000 документов по 20 страниц — это около 200 тысяч страниц и примерно 100 млн токенов. Если разбить их на фрагменты по 500 токенов и хранить для каждого вектор из 1 024 чисел, векторная база займёт около 0,8 ГБ. Такой объём свободно помещается в оперативную память обычного сервера. Основные ресурсы по-прежнему нужны самой языковой модели.

Но у RAG есть важное следствие для железа: каждый запрос содержит не только вопрос, но и несколько страниц найденного текста. Контекст запроса вырастает до 4–8 тысяч токенов, а значит, растёт и расход видеопамяти на каждого пользователя.

Для локального запуска используют модели с открытыми весами. Среди популярных — семейства Qwen, Llama, Mistral, DeepSeek, есть и российские модели с открытыми весами. Перед выбором стоит проверить три вещи.

• Размер. Модели на 7–14 млрд параметров работают на одной видеокарте и хорошо справляются с поиском по документам, классификацией и черновиками. Модели на 30–70 млрд параметров точнее в сложных рассуждениях, но требуют в несколько раз больше памяти.
• Качество работы с русским языком. Его лучше проверить на собственных документах и типичных вопросах сотрудников, а не по общим рейтингам.
• Лицензия. Условия у моделей разные: например, Qwen2.5 в большинстве размеров распространяется по лицензии Apache 2.0, DeepSeek-R1 — по лицензии MIT, у Llama собственное лицензионное соглашение. Перед коммерческим использованием условия нужно прочитать.

Отдельно про DeepSeek. Полная модель DeepSeek-R1 содержит 671 млрд параметров, и для её запуска нужны сотни гигабайт видеопамяти — это уровень сервера на 8 топовых ускорителей. Для большинства компаний реалистичный вариант — дистиллированные версии этой модели на 1,5–70 млрд параметров.

Требования к видеопамяти складываются из весов модели и KV-кэша — промежуточных данных, которые модель хранит для каждого запроса. Веса в точности FP16 занимают 2 байта на параметр, в 4-битном квантовании — около 0,5 байта.

Квантизация LLM для локального запуска — основной способ уместить модель в доступную видеопамять. 8-битные версии обычно почти не отличаются от исходной модели по качеству, 4-битные теряют немного больше, но это заметно не во всех задачах. Проверять стоит на своих данных.

Подробный расчёт видеопамяти с учётом KV-кэша и сравнение видеокарт мы разобрали в статье о выборе GPU-сервера для ИИ.

Процессор для LLM-сервера важен меньше, чем видеокарта: он готовит данные, обслуживает векторный поиск и API. Ориентир — 6–8 ядер на каждый GPU. Оперативной памяти стоит иметь не меньше двойного объёма видеопамяти: через неё модель загружается в GPU, в ней же работает векторная база.

Можно ли запустить LLM совсем без видеокарты? Да, например через llama.cpp. Небольшая модель в 4 битах на мощном процессоре выдаёт единицы токенов в секунду — для экспериментов достаточно, для работы нескольких сотрудников нет.

Выбор среды запуска влияет на то, сколько пользователей выдержит тот же самый сервер.

Типичный путь: пилот запускают на Ollama, а при переходе к рабочей эксплуатации переносят на vLLM или аналог. На одном и том же сервере это даёт многократный прирост числа одновременно обслуживаемых запросов.

Хранилище. Веса одной модели занимают от 5 до 140 ГБ, а в процессе выбора обычно скачивают и сравнивают несколько моделей. NVMe-диск на 2–4 ТБ — разумный минимум. Документы для RAG хранятся отдельно, часто на существующем файловом сервере.

Сеть. Для пользователей чат-бота сеть не критична — ответы весят килобайты. Скорость важна при загрузке моделей, индексации больших архивов документов и если сервер стоит в ЦОД, а документы — в офисе.

Безопасность. Локальная LLM снимает вопрос передачи данных наружу, но создаёт новые: кто может задавать вопросы, какие документы видит каждый пользователь, где хранятся журналы запросов. Если бухгалтерия загрузила в базу зарплатные ведомости, а модель отвечает всем сотрудникам, это утечка внутри компании. Права доступа нужно учитывать на уровне поиска по документам.

Сервер с одной видеокартой можно поставить в офисной серверной. Сервер с 2–4 ускорителями потребляет 1,5–3 кВт и выделяет столько же тепла, работает круглосуточно и шумит — для офиса это уже проблема. Такие серверы размещают в дата-центре с резервированным питанием и охлаждением.

Если сервер в ЦОД, важно, чтобы канал между офисом и площадкой был быстрым и защищённым. Тогда для сотрудников модель работает так же, как если бы стояла рядом.

Аренда сервера для LLM удобна на этапе пилота: можно проверить модели и сценарии, не покупая оборудование. Покупка оправдана, когда сценарий подтверждён и нагрузка постоянная. Стоимость сервера для LLM определяется в основном видеокартами, поэтому точный расчёт видеопамяти под реальную нагрузку напрямую влияет на бюджет.

Интерфоника — технологический провайдер из Иркутска с собственной оптической сетью и двумя ЦОДами. Для компаний, которые запускают языковые модели, это возможность держать и модель, и данные на местной инфраструктуре.

• Серверы с GPU. Серверы с графическими картами для машинного обучения, ИИ и сложных вычислений. Конфигурацию подбирают под нагрузку.
• Данные внутри контура. Инфраструктура соответствует требованиям 152-ФЗ. Для обработки персональных данных есть облако с уровнем защищённости УЗ-2, изолированными сегментами, контролем доступа и защищёнными каналами.
• Размещение собственного сервера. Если компания покупает сервер для LLM, его можно разместить в ЦОДе Интерфоники: двойное электропитание, продуманное охлаждение, пожаротушение. Colocation — от 5 000 ₽ за юнит.
• Прямой канал до ЦОДа. Бесплатное прямое подключение по оптике до 100 Гбит/с. Документы из офиса индексируются быстро, а модели загружаются без ожидания.
• Окружение для команды. JupyterHub для разработки, анализа данных и обучения моделей и кластеры Kubernetes для запуска сервисов вокруг модели.
• Пилот без закупки. IT-специалистам Интерфоника бесплатно выделяет свободные ресурсы под тестовые среды — можно проверить сценарий до покупки оборудования.

Сотрудничество Интерфоники с ИрГУПС началось с предложения предоставить университету вычислительные ресурсы для научных и академических задач — об этом в отзыве на сайте рассказывает начальник управления информатизацией университета.

Какой сервер нужен для LLM?
Для пилота на модели 7–8 млрд параметров — сервер с одной видеокартой на 24 ГБ, 64 ГБ оперативной памяти и NVMe-диском. Для корпоративного ассистента на десятки пользователей — видеокарта с 48 ГБ и 128 ГБ оперативной памяти. Для крупных моделей и сотен пользователей — сервер с несколькими GPU в дата-центре.

Можно ли запустить LLM без видеокарты?
Можно, например через llama.cpp, но скорость будет низкой — единицы токенов в секунду. Для экспериментов этого достаточно, для работы сотрудников нет.

Сколько VRAM нужно для локальной LLM?
Модель на 7–8 млрд параметров занимает около 16 ГБ в FP16 и около 5 ГБ в 4 битах. К этому добавляется память на KV-кэш, которая растёт с длиной контекста и числом пользователей. С поиском по документам и 20–30 пользователями комфортно иметь 24–48 ГБ.

Что лучше для локального запуска: Ollama или vLLM?
Ollama проще и подходит для пилотов и небольших команд. vLLM эффективнее обслуживает много одновременных запросов и лучше подходит для рабочего сервиса.

Как научить локальную модель отвечать по документам компании?
Чаще всего используют RAG: документы индексируют в векторной базе, и при каждом вопросе модель получает подходящие фрагменты. Дообучение модели нужно реже — например, чтобы она освоила специфическую терминологию или формат ответов.

Где разместить сервер для LLM в Иркутске?
Сервер с одной картой можно разместить в офисе. Многокарточные серверы лучше ставить в ЦОД. У Интерфоники два собственных ЦОДа в Иркутске и бесплатное прямое подключение к ним по оптике до 100 Гбит/с.