Приложение для смартфонов и ноутбуков обещают запустить в 2024 году. А первые исследования SoftBank начал еще в 2017-м. Помогают ему в проекте Токийский университет электросвязи и японский стартап ABEJA, который работает с искусственным интеллектом.
Разработчики говорят, что алгоритмы ABEJA изучили более 50 тыс. видео с языком жестов, чтобы обнаружить характерные движения для каждого слова. Сейчас же ученые оттачивают этот навык, чтобы каждый жест определялся максимально точно. Уже удалось достигнуть результата в 90%, но при столкновении с необычной жестикуляцией точность падает до 50%.
Ученые обещают, что к моменту запуска приложения алгоритм освоит более 100 вариаций каждого жеста на одно слово.
Систему уже тестируют в медучреждениях Токио и Фукусимы. По заверениям SoftBank, разработку планируют не только для японского, но и для других языков.