Яка хмарна GPU краща? Практичний досвід Data Science UA

Нещодавно ми розповідали про про практичний досвід використання GPU у хмарі, що ним поділився з нами Костянтин Черкашин, Solution Architect компанії Data Science UA. Один із фактів, згаданих в інтерв’ю виявився особливо цікавим: під час роботи з LLM моделлю GPT-OSS-120B міграція з карти NVIDIA H100 на H200 призвела до приросту продуктивності до 10 разів на окремих задачах.

На перший погляд такий результат виглядає неочевидним, бо різниця в обчислювальній потужності між H100 та H200 сама по собі не пояснює такого суттєвого прискорення. Тому ми звернулися за додатковим роз’ясненням до Костянтина Черкашина й попросили ого прокоментувати результати. До того ж, окрім NVIDIA H100 та H200, команда тестувала також можливість використання пари карток A100.

Чому NVIDIA H200 краща за H100 та навіть дві A100

Як пояснив Костянтин Черкашин, основна причина, чому H100 виявилася гіршою за H200, — дефіцит пам’яті для KV-кешу. Специфіка задачі, для виконання якої були залучені згадані GPU, полягає в максимальному навантаженні карт, бо команді завжди є що обчислювати. За таких умов H100 витрачала частину часу на керування кешем, тоді як H200 мала більший буфер й могла використовувати весь свій потенціал.

З урахуванням цієї відмінності було зроблено спробу перейти на дві спарені A100. Разом вони мали на 20 ГБ відеопам’яті більше, ніж одна H200, а за показником TFLOPS поступалися їй лише у 1,6 раза. Тому було раціонально припустити, що швидкодія знизиться не більше ніж удвічі порівняно з H200. Однак на практиці вона впала майже у п’ять разів, і результат виявився лише трохи кращим, ніж у H100. Причина в тому, що A100 має помітно слабшу архітектуру, ніж H200 і H100. Тому навіть за профіциту пам’яті вона виконувала ті самі операції повільніше.

Основний висновок полягає в тому, що кожна модель має свою специфіку та власні потреби в обчислювальних потужностях, а результат значною мірою залежить і від самої поставленої задачі. Якби навантаження на H100 було трохи меншим, вона впоралася б краще. Для згаданих задач за повного завантаження OSS-120B карта H200 виявилася ідеальним варіантом з погляду балансу обчислювальної потужності та відеопам’яті. Водночас спарка A100 показала результат лише трохи кращий за H100, що робить її для такого сценарію абсолютно неоптимальним варіантом, оскільки дві A100 дорожчі за одну H100.

Водночас це не означає, що A100 неоптимальні загалом. Вони можуть розгортати більш затратні за пам’яттю моделі і, хоча мають нижчу продуктивність, здатні забезпечувати кращу якість обробки. За помірного навантаження це може виявитися навіть продуктивнішим варіантом, ніж H200. Так само H100 на менших моделях може демонструвати високу продуктивність.