Яндекс опубликовал свой ускоритель обучения нейросетей.

иcтoчник: www.kv.by

Команда Яндекса открыла для пользователей доступ к библиотеке YaFSDP. Она поможет ускорить обучение больших языковых моделей - как собственной разработки, так и сторонних.

С помощью YaFSDP можно расходовать до 20% меньше ресурсов графических процессоров (GPU), которые требуются для обучения. Теперь YaFSDP могут использовать компании, разработчики и исследователи по всему миру.

Библиотека Яндекса рассчитана в первую очередь на большие языковые модели, хотя она подходит и для других нейросетей - например, таких, которые генерируют изображения. YaFSDP позволяет сократить расходы на оборудование для обучения моделей.

Яндекс разработал YaFSDP в процессе обучения своей генеративной модели нового поколения YandexGPT 3. Компания уже протестировала библиотеку на сторонних нейросетях с открытым исходным кодом. Например, если бы YaFSDP использовалась применительно к модели LLaMA 2, этап предварительного обучения на 1024 графических процессорах сократился бы с 66 до 53 дней.