Облачная платформа для LLM и генеративного ИИ в Украине

Выбирая GPU сервер для Больших Языковых Моделей надо оценивать не только количество и номинальную производительность ускорителей, но и обращать внимание на характеристики используемых моделей, а также сопутствующие технические детали. Особенно, когда проектируется комплексная LLM платформа. Критически важными параметрами в данном случае становятся объем доступной высокоскоростной памяти и пропускная способность шины обмена данными между ускорителями (интерконнект).

Например, веса крупной LLM-модели даже без учета пользовательского контекста могут занимать сотни гигабайт, и если они не помещаются в память одного акселератора, система будет распределять вычисления по нескольким GPU. Поэтому сервер для LLM должен поддерживать высокоскоростные интерконнекты уровня NVLink.

При этом большинство Large Language Models редко ограничиваются одним сервером — рано или поздно потребуется расширение, возможность которого стоит предусмотреть заранее. Например, нужны распределенные высокоскоростные хранилища для быстрой загрузки весов, системы мониторинга, инструменты для оркестрации инференса. Создать, развивать и поддерживать такую систему своими силами непросто и очень дорого. Но все необходимые ресурсы сегодня можно найти в облаках. Любой крупный провайдер LLM предлагает полный набор возможностей для разворачивания и развития больших языковых моделей.

Обучать LLM с нуля — долго и дорого. Бизнес почти никогда не ставит себе сегодня подобной задачи. Вместо этого, если надо создать корпоративный аналог нейросети вроде ChatGPT, берут готовую базовую модель — из многих десятков, доступных на рынке — и дают ей доступ к массиву закрытых корпоративных знаний (без изменения самой архитектуры сети). В качестве последних, как правило, выступают документы, базы данных, внутренние регламенты и т.д. Облачный хостинг для Больших Языковых Моделей в таких задачах должен обеспечить безопасное и надежное подключение LLM к этим внутренним источникам без риска утечки чувствительных данных. Соответственно, хостинг для LLM должен бесшовно интегрироваться с системой ИТ-безопасности организации. При этом интеграция собственных знаний организации осуществляется с помощью подхода RAG (Retrieval-Augmented Generation), который динамически подставляет нужные документы в запрос пользователя в момент обращения.

Для компаний в Украине важным фактором остается размещение AI-платформ в рамках украинской юрисдикции поэтому облачный хостинг для Large Language Models должен учитывать этот момент. Но локализация данных не является сегодня проблемой, поскольку все крупные украинские операторы предлагают хостинг LLM в облаке на территории страны, обеспечивая не только размещение данных без выноса их за границу, но и минимальные сетевые задержки.