Для каких задач подходит
Независимые задания рендера и инференса позволяют использовать L40S без межкарточного соединения NVLink. Например, очередь кадров распределяется между GPU отдельными заданиями, а экземпляры модели обслуживают разные запросы. Здесь отсутствие NVLink не создаёт того ограничения, которое возникает при частой синхронизации общей задачи.
Дообучение на отдельной L40S подходит, когда рабочее состояние задания помещается в 48 ГБ. При переходе к распределённому обучению обмен градиентами идёт через PCIe, и расположение карт в сервере влияет на задержки передачи. У хостера стоит запросить число установленных GPU и схему их подключения: соседние слоты не обязательно дают одинаковый путь обмена.
Смешанный сервис с генерацией изображений и графическим рендером — повод оценивать L40S по времени выполнения обоих видов заданий. Если текущая RTX A6000 уже выдерживает очередь, более высокий FP32 L40S ещё нужно сопоставить с разницей месячной цены. Для отдельного проекта с языковой моделью ориентиры выбора собраны на странице серверов для ИИ и нейросетей.
С чем сравнить
Ближайший ориентир для графических задач — NVIDIA RTX A6000, а для обучения с обменом между ускорителями — NVIDIA A100. У первой совпадают объём и тип памяти с L40S; вторая предлагает HBM2e и NVLink. Это разные основания для выбора, которые не сводятся к поколению архитектуры.
| Параметр | L40S | RTX A6000 | A100 |
|---|
| Архитектура | Ada Lovelace | Ampere | Ampere |
| Память | 48 ГБ GDDR6 ECC | 48 ГБ GDDR6 ECC | 80 ГБ HBM2e; ранние версии — 40 ГБ |
| TDP | 350 Вт | 300 Вт | 300 Вт PCIe / 400 Вт SXM |
| NVLink | Нет | 112 GB/s через мост | 600 GB/s |
| Исполнение | PCIe | PCIe | PCIe или SXM |
В FP32 у L40S указано 91.6 TFLOPS против 38.7 TFLOPS у RTX A6000, но скорость рендера архитектурной визуализации проверяется на рабочей сцене. При совместном расчёте кадра карты A6000 могут обмениваться данными через мост; у L40S путь обмена устроен иначе. Для сцены с частыми обращениями между GPU тест связи столь же нужен, как замер времени отдельного кадра.