Что такое NVIDIA L4?

NVIDIA L4 — серверный тензорный ускоритель на архитектуре Ada Lovelace, оптимизированный для энергоэффективного инференса ИИ-моделей, обработки видео, компьютерного зрения и виртуализации графики в дата-центрах и на периферии (Edge Computing). Ключевые характеристики: 24 ГБ GDDR6 с ECC, пропускная способность памяти 300 ГБ/с, TDP 72 Вт, низкопрофильный однослотовый форм-фактор PCIe Gen4 x16 с пассивным охлаждением — идеален для плотной установки в серверах.

Четвёртого поколения тензорные ядра NVIDIA L4 обеспечивают до 485 TFLOPS в FP8 / INT8 (с sparsity), 242 TFLOPS в FP16 / BF16, что даёт до 2,5–4x прироста инференса по сравнению с предыдущим поколением. NVIDIA L4 используется для LLM-инференса, генеративного AI, потоковой видеоаналитики, реал-тайм транскодинга и vGPU. Поддерживает CUDA, TensorRT, CV-CUDA и другие стеки NVIDIA, обеспечивая высокую производительность на ватт и масштабируемость для облачных/edge-сервисов с тысячами параллельных запросов.