Джефф Гирлинг тестирует кластер Mac Studio с чипом M3 Ultra

Исследователь и ютубер Джефф Гирлинг получил от Apple для тестирования кластер из четырех компьютеров Mac Studio, оснащенных чипом M3 Ultra. Основная цель эксперимента — запуск нескольких Mac с одной гигантской памятью, что особенно важно для работы с крупными AI-моделями. Стоимость стенда, включающего 1,5 ТБ объединенной памяти, составляет около 40 000 долларов. Два нижних компьютера имеют 512 ГБ RAM и 32 ядра процессора (по 11 699 долларов каждый), а два верхних — по 256 ГБ (по 8 099 долларов). Для размещения кластера использовалась мини-стойка DeskPi, так как готовых решений для монтажа Mac Studio практически нет. Однако возникли вопросы по сетевым возможностям: соединение через Thunderbolt имеет недостатки, и из-за отсутствия коммутаторов пришлось подключать каждый Mac к каждому, создавая паутину проводов. После настройки кластера были проведены тесты, которые показали результаты ниже ожидаемых, но использование открытого ПО Exo 1.0 позволило запускать большие модели. Кластер из четырех Mac с Exo показал в среднем удвоенную скорость генерации по сравнению с llama.cpp. Обратите внимание, что проект Llama запрещен на территории России. Подписывайтесь на наш Telegram-канал BotHub AI News, чтобы оставаться в курсе новостей в мире ИИ.