Идея Кармака: Оптоволокно вместо DRAM для нейросетей

Джон Кармак, основатель стартапа Keen Technologies и знаменитый разработчик Doom, предлагает нестандартный подход к хранению весов моделей для инференса нейросетей. Он предлагает использовать оптоволоконные петли для передачи данных в виде световых импульсов вместо традиционных микросхем памяти. Согласно его расчетам, современные технологии демонстрируют скорость передачи до 256 Тб/с на расстоянии 200 км, что может обеспечить 32 ГБ данных с пропускной способностью в 32 ТБ/с. Кармак указывает, что обращение к весам при инференсе предсказуемо, что позволяет непрерывно передавать данные прямо в кэш процессора. Хотя для моделей с триллионом параметров потребуется много таких петель, Кармак подчеркивает, что пропускная способность оптоволокна растет быстрее, чем у DRAM. В качестве практичной альтернативы он предлагает использовать дешевые чипы флеш-памяти, которые при правильной конфигурации могут обеспечить нужную скорость. Его пост стал популярным, набрав 1,3 млн просмотров за два дня.