Як вибір NVIDIA H200 і хмари De Novo прискорив роботу LLM до 10 разів

Data Science UA вже десять років розробляє AI/ML-рішення для українських та міжнародних корпоративних замовників. Частину GPU-навантажень компанія розміщує у хмарі De Novo, де команда розробників протестувала різні прискорювачі на реальних задачах. 

AI/ML-проєкти потребують потужних GPU 

Компанія Data Science UA близько десяти років працює у галузі AI/ML та створює рішення для українських і міжнародних компаній. Для розробки, тестування та навчання великих мовних моделей (LLM) команда регулярно потребує значних GPU-ресурсів. Частину навантажень Data Science UA розміщує у хмарі De Novo. Зокрема, одне з таких завдань потребує до 25 млн токенів на годину. 

Коли NVIDIA H100 недостатньо 

Над певною задачею команда спочатку працювала використовуючи GPU NVIDIA H100. Але для окремих великих моделей продуктивності цієї карти вже не вистачало. Тому Data Science UA перейшла на NVIDIA H200 — більш потужну GPU із збільшеним обсягом та вищою пропускною здатністю пам’яті. В реальному проєкті приріст продуктивності виявився значно кращим за очікування. 

До x10 швидше на реальному навантаженні 

Під час роботи з моделлю OpenAI GPT-OSS-120B продуктивність на H100 не задовольнила команду. Після перенесення того самого навантаження на NVIDIA H200 швидкодія на окремих завданнях зросла до 10 разів. Це значно більше, ніж показує різниця в синтетичних тестах, і добре ілюструє, чому GPU варто оцінювати саме на фактичному навантаженні. 

Як обирали оператора 

Data Science UA порівнювала три варіанти: глобальні хмари, європейських провайдерів та українських операторів. Ключовими критеріями були: 

• Вартість GPU-обчислень;
• Можливість працювати з чутливими даними;
• Дотримання комплаєнсу;
• Якість технічної підтримки та швидкість взаємодії з оператором.

Чому De Novo 

Послуги глобальні хмарних операторів виходили значно дорожчими за пропозиції європейських та українських гравців — для великих навантажень різниця була особливо відчутною. 

Європейські провайдери можуть бути конкурентними за ціною, але перенесення чутливих даних за кордон часто потребує додаткових погоджень. Серед українських операторів De Novo було обрано зокрема завдяки технічній експертизі та якості підтримки. 

«На користь De Novo зіграли експертиза, професіоналізм, а також оперативність роботи техпідтримки» — Костянтин Черкашин, Solution Architect компанії Data Science UA.

Зараз команда Data Science UA працює у хмарі De Novo з карткою NVIDIA H200 та може збільшувати GPU-ресурси відповідно до характеру навантаження.