Исследователи разработали новую систему бесконтактного ввода текста для умных часов, основанную на считывании движений кончиков пальцев в воздухе.

Растущая популярность смарт-часов обусловлена их компактностью, универсальностью и широкой функциональностью. Тем не менее, основным фактором, влияющим на удобство их использования, является размещение на запястье одной из рук, не позволяющее задействовать ее для управления. Это сильно снижает скорость ввода текста.

Очевидной альтернативой выступает преобразование речи, но существующие алгоритмы часто ошибаются при транскрипции слов в шумном среде, а в некоторых случаях использование голоса просто неуместно. Поэтому инженеры из Чжэцзянского университета предложили инновационную технологию AirText, решующую эту проблему.

Команда разработала и испытала систему, которая отслеживает траекторию перемещения кончика указательного пальца в воздухе с помощью инерциального датчика (акселерометра, гироскопа или магнитометра). Чтобы система отличала его от движений запястья, дополнительно используется инфракрасный сенсор. Показания датчиков собирают и  анализируют алгоритмы машинного обучения, переводя узоры в буквы и слова.

Тесты показали, что искусственный интеллект распознает нарисованные в воздухе символы независимо от типа умных часов и стиля письма пользователя. С помощью AirText добровольцы в среднем вводили 8,1 слов в минуту, с коэффициентом ошибок 3,6-11,2%. Для ускорения процесса система может предлагать варианты слова, которое пользователь хочет написать. Для подтверждения или отклонения достаточно повернуть часы вправо или влево. Встряхивание руки приводит к возврату или отмене действия.

Однако для корректной работы существующей версии программы пользователям необходимо делать паузы между написанием отдельных слов, что снижает скорость ввода. Команда уже работает над устранением этой необходимости и обсуждает с производителями интеграцию технологии в их продукты.

Источник