Исследователи из Meta разработали мультимодальный метод обучения нейросетей
Исследователи из Meta AI (ранее Facebook AI) разработали единый метод обучения нейросетей, подходящий для работы с изображениями, звуком и текстом. В нем используется две идентичные нейросети — учитель и ученик. Учитель получает полные входные данные, а ученик получает частичные и учится предсказывать внутреннее представление полной версии этих данных в модели-учителе. Модели, обученные таким методом, оказались лучше или сравнимы с моделями, обученные методами, специфичными для одного типа данных.