Mistral AI та NVIDIA представили відкриту LLM-модель для корпоративного AI
2024-08-20
Нова велика мовна модель (LLM) створена для вирішення широкого кола комерційних завдань, зокрема — оптимізації програмного коду, генерації контенту, розробки чат-ботів тощо.
Французька компанія-розробник Mistral AI спільно з NVIDIA представила користувачам нову LLM Mistral NeMo 12B, орієнтовану на корпоративне застосування. Модель доступна всім охочим у рамках ліцензії на вільне ПЗ Apache 2.0. Mistral NeMo 12B має 12 млрд параметрів та контекстне вікно у 128 тис. токенів. Для її навчання користувався цілий ряд новітніх розробок NVIDIA, таких як хмарна платформа DGX Cloud AI (де було залучено 3072 прискорювачів GPU H100 з тензорними ядрами), бібліотека з відкритим вихідним кодом TensorRT-LLM, спеціально адаптована для великих мовних моделей, платформа для створення користувацьких генеративних ML-моделей NVIDIA NeMo, система для навчання LLM на основі архітектури transformer — Megatron-LM та низка інших рішень.
За словами розробників — поєднуючи досвід Mistral AI в галузі тренувальних даних з оптимізованою апаратною та програмною екосистемою NVIDIA, Mistral NeMo забезпечує високу продуктивність для різних корпоративних застосунків.
«Нам пощастило співпрацювати з командою NVIDIA, використовуючи їх обладнання та програмне забезпечення найвищого рівня», — сказав Гійом Лампле, співзасновник та головний науковий співробітник Mistral AI. «Разом ми розробили модель з найвищою точністю, гнучкістю, ефективністю, підтримкою та безпекою корпоративного рівня завдяки розгортанню NVIDIA AI Enterprise».
Для інференсу Mistral NeMo 12B використовує новий формат даних FP8 (запропонований у 2022 році), це повинно допомагати зменшити розмір необхідної пам'яті та прискорити розгортання AI/ML-рішень без зниження їх ефективності та точності. Те, що Mistral NeMo 12B доступна за відкритою моделлю дозволяє підприємствам безперешкодно інтегрувати цю LLM у комерційні застосунки, до того ж за словами розробників, завдяки продуманій архітектурі та оптимізації, модель може розміститися в пам'яті одного GPU NVIDIA L40S, GeForce RTX 4090 або RTX 4500, що істотно розширює сферу її застосування та коло компаній, яким модель буде доступна.
Нагадаємо, що в хмарах De Novo доступні всі необхідні потужності та засоби для швидкого розгортання AI/ML-інфраструктур. Вже зараз ви можете отримати у своє розпорядження найпотужніші GPU/TPU акселератори NVIDIA H100, повноцінне ML-оточення для розробників або платформу для роботи з Kubernetes, засновану на найкращих світових практиках.
Про деталі запитайте наших експертів!