Сбер и ИТМО создали прорывной инструмент для федеративного обучения ИИ

Сбер и ИТМО представили Stalactite — инновационный инструмент федеративного обучения ИИ. Проект, поддержанный федеральной программой "Искусственный интеллект", нацелен на защиту данных и развитие рекомендательных систем в различных сферах.

Специалисты "Сбера" совместно с Университетом ИТМО разработали один из первых отечественных инструментов для реализации федеративного обучения моделей искусственного интеллекта. Этот инновационный продукт позволяет обучать ИИ-модели и делать прогнозы на основе данных, которые хранятся на различных устройствах и принадлежат разным владельцам. Важной особенностью является то, что данные остаются раздельными и надежно защищены от утечек.

Stalactite, созданный в рамках федерального проекта "Искусственный интеллект", стал одним из первых отечественных инструментов такого рода. Руководитель лаборатории искусственного интеллекта Сбербанка Глеб Гусев отметил:

"Эта разработка продолжает наше многолетнее сотрудничество с передовыми исследовательскими институтами России в области совместного создания и улучшения инструментов для дата-сайентистов. В этом году мы опубликовали несколько научных работ на топовых конференциях по искусственному интеллекту, и часть из них также касалась федеративного обучения. Разработанный фреймворк может применяться в том числе для улучшения рекомендательных систем различных организаций. В результате дата-сайентисты смогут тестировать разнообразные алгоритмы вертикального федеративного обучения в области рекомендаций для безопасного обучения моделей в различных доменах без прямого обмена чувствительными данными".

Николай Бутаков, старший научный сотрудник исследовательского центра "Сильный ИИ в промышленности" ИТМО, добавил:

"Сейчас многие организации достигли предела, когда собственные данные для машинного обучения уже не повышают точность предсказаний. Для этого требуются полезные сведения из сторонних источников. Но если речь идёт, например, о финансовых и медицинских учреждениях, то делиться такой информацией они не могут вследствие законодательства. Для таких задач китайские и американские компании последние два года используют вертикальное федеративное обучение. В России Stalactite стал, насколько нам известно, одним из первых подобных проектов. Его также можно использовать для предсказания финансовых показателей различных подразделений организаций, которые владеют чувствительными данными и не могут ими обмениваться".

Инструмент разработан на языке программирования Python. Для обеспечения сетевой коммуникации между различными площадками хранения данных использована технология Protobuf, позволяющая передавать данные гибко и без сложной синхронизации. Stalactite включает в себя несколько популярных алгоритмов машинного обучения для работы с табличными данными и изображениями в задачах регрессии и классификации. Также он может быть применён для задач рекомендаций. Система мониторинга результатов и производительности предоставляет возможности для отладки, настройки параметров и среды, необходимых для тестовой эксплуатации.

Основной целевой аудиторией Stalactite являются прикладные разработчики ИИ-систем на данных, которые с его помощью могут адаптировать собственные алгоритмы для вертикального федеративного обучения. Однако, инструмент оснащен удобным командным интерфейсом, который позволяет даже пользователям с минимальными навыками работы с терминалом быстро запускать готовые алгоритмы для обучения моделей.