Как я купил и модернизировал сервер Grace-Hopper для локального ИИ

Запуск крупных языковых моделей на локальном уровне всегда был сложной задачей. Я наткнулся на предложение о продаже системы Grace-Hopper за 10 тысяч евро, что казалось слишком хорошим, чтобы быть правдой. После проверки и личной встречи с продавцом, я приобрёл этот сервер, который был в плохом состоянии, но работал. Шум от системы был невыносимым, и я вскоре начал разборку для очистки. После замены на водяное охлаждение и модернизации системы я столкнулся с множеством проблем, включая критические ошибки вентиляторов и неверные показания температур. В итоге я смог запустить систему, которая успешно обрабатывает крупные модели с 235 миллиардами параметров. Общая стоимость сборки составила 9000 евро, что значительно меньше, чем цена одного H100. Теперь у меня есть мощная настольная система для работы с ИИ.