Илон Маск анонсировал запуск обучения моделей на суперкомпьютере Colossus 2

В суперкомпьютерном кластере под названием Colossus 2 начался параллельный тренинг семи различных языковых и мультимодальных моделей, как сообщил Илон Маск. В настоящее время в процессе обучения находятся следующие модели: Imagine V2, которая представляет собой улучшенную генеративную модель для создания изображений и видео, две модели с параметрами в 1 трлн, две модели с 1,5 трлн параметров, а также модели объемом 6 трлн и 10 трлн параметров. Когда Маска спросили о времени, необходимом для обучения самой крупной модели с 10 трлн параметров, он ответил, что предварительный этап займет примерно 2 месяца. Суперкомпьютер Colossus 2, разработанный компанией xAI, уже активно используется не только для обучения Grok, но и для других задач. Этот кластер стал первым в мире ИИ-кластером с потреблением энергии на уровне 1 ГВт, что превышает пиковое энергопотребление такого крупного города, как Сан-Франциско.