Для каких задач подходит
H100 имеет смысл брать под обучение в FP8, если фреймворк и рецепт обучения используют этот формат. Проверка включает прохождение полного шага с обновлением весов и контроль качества модели. Если рабочий код продолжает выполнять основные операции в другом формате, оплачивать H100 только ради строки FP8 в спецификации невыгодно.
Если веса и рабочие буферы сервиса не помещаются в 80 ГБ, но укладываются в 94 ГБ, NVL держит модель на одной карте без деления между ускорителями. Когда модель помещается и в SXM, и в NVL, исполнение выбирают по задержке ответа под рабочей нагрузкой.
Модель предсказания структуры белка, распределённая между GPU, добавляет требование к соединениям: обмен идёт во время расчёта, поэтому схема NVLink влияет на результат. Для SXM указан NVLink 900 GB/s; в заявке хостеру стоит назвать, сколько карт должны обмениваться данными в одном задании. Результаты NVL и SXM сравнимы только при одинаковой модели, настройках и наборе белковых последовательностей.
Выбор окружения и способ размещения модели удобно связать с подбором сервера для ИИ и нейросетей. Например, дообучение и постоянный сервис инференса используют один ускоритель по-разному, поэтому для них нужны отдельные тестовые задания.
С чем сравнить
NVIDIA A100 полезна как ориентир для уже работающего обучения, а NVIDIA H200 — для задачи, которой не хватает памяти H100. Сравнение отделяет смену вычислительного поколения от увеличения вместимости GPU.
| Модель | Архитектура | Видеопамять | NVLink |
|---|
| A100 | Ampere | 80 ГБ HBM2e | 600 GB/s |
| H100 SXM | Hopper | 80 ГБ HBM3 | 900 GB/s |
| H200 | Hopper | 141 ГБ HBM3e | 900 GB/s |
Если задание уверенно помещается в A100 и не использует FP8, переход на H100 требует измеримого сокращения времени работы. У H200 и H100 SXM заявлены одинаковые 3958 TFLOPS FP8 со sparsity, зато H200 предлагает 141 ГБ памяти. Для задания, которое приходится дробить из-за ограничения 80 ГБ, именно эта разница делает H200 кандидатом на тест.