Старый ускоритель Nvidia Tesla V100 по-прежнему актуален для нейросетей

Ускоритель Nvidia Tesla V100, которому уже восемь лет, продолжает демонстрировать впечатляющие результаты в задачах локального запуска нейросетей. На практике эта видеокарта оказывается более производительной, чем современные RTX 3060 12 ГБ и Radeon RX 7800 XT 16 ГБ. Автор канала Hardware Haven провел тестирование на собранном ПК с использованием Tesla V100 SXM2, которая когда-то стоила тысячи долларов, но сейчас доступна на вторичном рынке по цене около $100. Однако для установки потребуется адаптер SXM-to-PCIe, отдельное питание и самодельная система охлаждения. Вся сборка обошлась в $235. Результаты тестов впечатляют: в тесте GPT-oss 20B карта выдала 130 токенов в секунду, что значительно превышает показатели Radeon RX 7800 XT и RTX 3060. При ограничении мощности до 100 Вт V100 также показывает высокую энергоэффективность. Это открывает новые возможности для локального запуска нейросетей, особенно для ИИ-энтузиастов, заинтересованных в мощных вычислениях. Особенно стоит отметить 32-гигабайтную версию Tesla V100, которая может стать отличным выбором для более сложных LLM-моделей по цене $400–500.