Чтобы робот мог «выучить» язык жестов, необходимо объединить различные области инженерии, такие как искусственный интеллект, нейронные сети и искусственное зрение. «Одним из главных новых достижений этого исследования является то, что мы объединили две основные области робототехники: сложные системы (такие как руки роботов), социальное взаимодействие и общение», – объясняет Хуан Виторес, один из исследователей из лаборатории робототехники в департаменте системотехники и автоматизации UC3M.
Первое, что ученые сделали в рамках своих исследований, с помощью моделирования указали конкретное положение каждой фаланги, чтобы изобразить конкретные знаки испанского языка жестов. Затем они попытались воспроизвести эту позицию роботизированной рукой, пытаясь сделать движения, подобные тем, которые могла совершить человеческая рука. «Цель состоит в том, чтобы они были похожими и, прежде всего, естественными. Различные типы нейронных сетей были протестированы для моделирования этой адаптации, и это позволило нам выбрать тот язык, который мог бы выполнять жесты так, чтобы это было понятно для людей, которые общаться с языком жестов”, – объясняют исследователи.
Наконец, ученые подтвердили, что система работает, взаимодействуя с потенциальными конечными пользователями. «Глухие люди , которые были в контакте с роботом, сообщили о 80-процентном удовлетворении, поэтому реакция была очень положительной», – говорит другая из исследователей из лаборатории робототехники Дженнифер Гаго. Эксперименты проводились с TEO (оператор среды выполнения задач), человекоподобным роботом для домашнего использования, разработанным в лаборатории робототехники UC3M.
На сегодняшний день TEO освоил алфавит языка жестов, а также базовый словарь, связанный с домашними делами, объясняет этот исследователь. Одна из проблем, стоящих перед учеными в настоящее время, чтобы продолжить разработку этой системы, – это «рендеринг более сложных жестов с использованием законченных предложений», говорит другой член команды Robotics Lab, Бартек Луковски. Робот затем может быть использован примерно 13300 людьми в Испании , которые используют язык жестов для общения.
Более широкая цель состоит в том, чтобы роботы этого типа стали помощниками по дому, которые могут помочь в глажении одежды (TEO также делает это), складывании одежды, подаче пищи и взаимодействии с пользователями в домашних условиях. Кроме того, «эти роботизированные руки могут быть реализованы в других гуманоидах и могут быть использованы в других средах и обстоятельствах», – говорит Дженнифер Гаго. «Действительно важно то, что все эти технологии, все эти разработки, в которые мы вносим свой вклад, направлены на то, чтобы охватить всех членов общества”.
