Що таке NVIDIA L4?

NVIDIA L4 — серверний тензорний прискорювач на архітектурі Ada Lovelace, оптимізований для енергоефективного інференсу ШІ-моделей, оброблення відео, комп’ютерного зору та віртуалізації графіки в дата-центрах і на периферії (Edge Computing). Ключові характеристики: 24 ГБ GDDR6 з ECC, пропускна здатність пам’яті 300 ГБ/с, TDP 72 Вт, низькопрофільний однослотовий форм-фактор PCIe Gen4 x16 із пасивним охолодженням — ідеальний для щільного встановлення в серверах.

Тензорні ядра NVIDIA L4 четвертого покоління забезпечують до 485 TFLOPS у FP8 / INT8 (із sparsity), 242 TFLOPS у FP16 / BF16, що дає до 2,5–4x приросту інференсу порівняно з попереднім поколінням. NVIDIA L4 використовується для LLM-інференсу, генеративного AI, потокової відеоаналітики, real-time транскодингу та vGPU. Підтримує CUDA, TensorRT, CV-CUDA та інші стеки NVIDIA, забезпечуючи високу продуктивність на ват і масштабованість для хмарних/edge-сервісів із тисячами паралельних запитів.