В Новосибирском государственном университете разработали приложение, которое позволяет быстро и точно переводить жесты в текст с использованием технологий искусственного интеллекта. Об этом сообщила пресс-служба вуза.
Приложение функционирует на компьютерах в режиме реального времени и на мобильных устройствах. Разработчик Ярослав Чеканов самостоятельно изучил русский жестовый язык и собрал большой массив данных для обучения искусственного интеллекта, создав тестовое решение. Приложение считывает изображение с видеокамеры до завершения перевода, который затем выводится на экран. Чеканов отметил, что его приложение работает быстрее и обеспечивает более точный перевод по сравнению с существующими аналогами. В планах разработчика — доработать модель, расширить функционал и добавить возможность обратного перевода: из текста в жесты и из голоса в жесты.
По словам Чеканова, проект имеет важное социальное значение, так как способствует инклюзивности и открывает новые возможности взаимодействия для людей с ограниченными возможностями. Он также добавил, что проект может быть интересен специалистам в области обучения жестовому языку, машинного обучения и лингвистам, изучающим эту форму коммуникации.
