Mistral AI и NVIDIA представили открытую LLM-модель для корпоративного AI
2024-08-20
Новая большая языковая модель (LLM), создана для решения широкого круга коммерческих задач, включая оптимизацию программного кода, генерацию контента, разработку чат-ботов.
Французская компания-разработчик Mistral AI, совместно с NVIDIA представила пользователям новую LLM Mistral NeMo 12B, ориентированную на корпоративное применение. Модель доступна для всех желающих в рамках лицензии на свободное ПО Apache 2.0. Mistral NeMo 12B имеет 12 млрд параметров и контекстное окно в 128 тыс. токенов. Для ее обучения пользовался целый ряд новейших разработок NVIDIA, таких как облачная платформа DGX Cloud AI (где было задействовано 3072 ускорителей GPU H100 с тензорными ядрами), библиотека с открытым исходным кодом TensorRT-LLM, специально адаптированная для больших языковых моделей, платформа для создания пользовательских генеративных ML-моделей NVIDIA NeMo, система для обучения LLM на основе архитектуры transformer — Megatron-LM и ряд других решений.
По словам создателей — сочетая опыт Mistral AI в области обучающих данных с оптимизированной аппаратной и программной экосистемой NVIDIA, Mistral NeMo обеспечивает высокую производительность для различных приложений.
«Нам повезло сотрудничать с командой NVIDIA, используя их оборудование и программное обеспечение высшего уровня», — сказал Гийом Лампле, соучредитель и главный научный сотрудник Mistral AI. «Вместе мы разработали модель с высочайшей точностью, гибкостью, эффективностью, поддержкой и безопасностью корпоративного уровня благодаря развертыванию NVIDIA AI Enterprise».
Для инференса Mistral NeMo 12B использует новый формат данных FP8 (предложен в 2022 году), который, как считается, помогает уменьшить размер требуемой памяти и ускорить развертывание AI/ML-решений без снижения их эффективности и точности. То, что Mistral NeMo 12B доступна по открытой модели позволяет предприятиям беспрепятственно интегрировать ту LLM в коммерческие приложения, к тому же по словам разработчиков, благодаря продуманной архитектуре и оптимизации, модель может разместиться в памяти одного GPU NVIDIA L40S, GeForce RTX 4090 или RTX 4500, что существенно расширяет область ее применения и круг компаний, которым она доступна.
Напомним, что в облаках De Novo доступны все необходимые мощности и средства для быстрого разворачивания AI/ML-инфраструктур. Уже сейчас вы можно получить в свое распоряжение мощнейшие GPU/TPU акселераторы NVIDIA H100, полноценное ML-окружение для разработчиков или платформу для работы с Kubernetes, основанную на лучших мировых практиках.
О деталях спросите у наших экспертов!