Хмара для LLM та генеративного ШІ в Україні

Вибираючи GPU сервер для Великих Мовних Моделей, треба оцінювати не тільки кількість і номінальну продуктивність прискорювачів, а й звертати увагу на характеристики використовуваних моделей, а також супутні технічні деталі. Особливо тоді, коли проєктується комплексна LLM платформа. Критично важливими параметрами в цьому випадку стають обсяг доступної високошвидкісної пам’яті та пропускна здатність шини обміну даними між прискорювачами (інтерконект).

Наприклад, ваги великої LLM-моделі навіть без урахування користувацького контексту можуть займати сотні гігабайтів, і якщо вони не вміщуються в пам’ять одного акселератора, система розподілятиме обчислення між кількома GPU. Тому сервер для LLM має підтримувати високошвидкісні інтерконекти рівня NVLink.

При цьому більшість Large Language Models рідко обмежуються одним сервером — рано чи пізно знадобиться розширення, можливість якого варто передбачити заздалегідь. Наприклад, потрібні розподілені високошвидкісні сховища для швидкого завантаження ваг, системи моніторингу, інструменти для оркестрації інференсу. Створити, розвивати й підтримувати таку систему власними силами непросто й дуже дорого. Але всі необхідні ресурси сьогодні можна знайти в хмарах. Будь-який великий провайдер LLM пропонує повний набір можливостей для розгортання та розвитку великих мовних моделей.

Навчати LLM з нуля — довго й дорого. Бізнес майже ніколи не ставить перед собою сьогодні такого завдання. Натомість, якщо треба створити корпоративний аналог нейромережі на кшталт ChatGPT, беруть готову базову модель — із багатьох десятків, доступних на ринку — і дають їй доступ до масиву закритих корпоративних знань (без зміни самої архітектури мережі). Як останні, зазвичай, виступають документи, бази даних, внутрішні регламенти тощо. Хмарний хостинг для Великий Мовних Моделей у таких завданнях має забезпечити безпечне й надійне підключення LLM до цих внутрішніх джерел без ризику витоку чутливих даних. Відповідно, хостинг для LLM має безшовно інтегруватися із системою ІТ-безпеки організації. При цьому інтеграція власних знань організації здійснюється за допомогою підходу RAG (Retrieval-Augmented Generation), який динамічно підставляє потрібні документи в запит користувача в момент звернення.

Для компаній в Україні важливим фактором залишається розміщення AI-платформ у межах української юрисдикції, тому хмарний хостинг для Large Language Models має враховувати цей момент. Але локалізація даних сьогодні не є проблемою, оскільки всі великі українські оператори пропонують хостинг LLM у хмарі на території країни, забезпечуючи не тільки розміщення даних без винесення їх за кордон, а й мінімальні мережеві затримки.