Андрей Карпатый, известный популяризатор машинного обучения и экс-инженер OpenAI, инициировал проект, который может революционизировать доступность искусственного интеллекта. Его новая разработка, названная nanochat, демонстрирует, что создать собственную языковую модель теперь возможно всего за сто долларов, используя базовые инструменты.
Проект является частью открытого курса LLM101n от Eureka Labs, где Карпатый пошагово объясняет процесс сборки, обучения и тестирования языковой модели с нуля. Все реализовано с максимальной простотой и прозрачностью: токенизатор написан на Rust, данные загружаются через систему FineWeb-EDU, а готовые скрипты обеспечивают обучение, функционирование модели и сбор метрик. Для экспериментов достаточно арендовать недорогие облачные ресурсы, что делает обучение доступным.
Основная задача nanochat — продемонстрировать, что большие языковые модели теперь не только в руках корпораций. В репозитории проекта доступны как код, так и учебные материалы, позволяющие любому желающему воспроизвести процесс. Встроенный веб-интерфейс упрощает взаимодействие с моделью, позволяя сразу протестировать результаты и сравнить их с существующими решениями.
Карпатый создал доступный конструктор LLM, который позволяет понять внутренние механизмы ИИ. В эпоху, когда обучение моделей требует огромных вложений, nanochat напоминает, что инновации начинаются с любопытства и открытых инструментов.
