Новий інструмент допомагає глухим спілкуватись без бар’єрів

Дослідники з Коледжу інженерії та комп’ютерних наук Атлантичного університету Флориди розробили революційну систему розпізнавання жестової мови в реальному часі, що використовує передові технології штучного інтелекту для подолання комунікаційних бар’єрів для мільйонів глухих та слабочуючих людей.

Комунікаційні труднощі значно ускладнюють повсякденне життя людей з вадами слуху. Традиційні методи перекладу жестової мови мають суттєві обмеження. Послуги перекладачів часто недоступні та дорогі. Технологічні рішення до цього часу не забезпечували достатньої точності в реальних умовах.

Виклики розпізнавання жестової мови

Американська жестова мова складається з комплексних жестів для літер, слів та фраз. Існуючі технології розпізнавання стикаються з численними проблемами. Вони часто не можуть розрізнити візуально подібні жести.

Якість даних для навчання ШІ створює серйозні перешкоди. Розмиття в русі, непостійне освітлення та варіації відтінків шкіри знижують ефективність моделей. Різноманітність розмірів рук та фонових умов ускладнює універсальне застосування.

Системи реального часу повинні одночасно забезпечувати швидкість та точність. Вони мають працювати в різних умовах освітлення. Моделі повинні правильно класифікувати жести незалежно від індивідуальних особливостей користувача.

Інноваційне технологічне рішення

Розроблена система поєднує два потужні компоненти для досягнення високої точності. Технологія виявлення об’єктів YOLOv11 працює разом із системою відстеження рухів рук MediaPipe. Інтеграція цих інструментів забезпечує розпізнавання жестів у реальному часі.

“Що робить цю систему особливо примітною, так це те, що весь конвеєр розпізнавання працює безперебійно в режимі реального часу, незалежно від мінливих умов освітлення або фону”, – пояснює Бадер Альшаріф, головний автор дослідження. Стандартна веб-камера служить безконтактним датчиком для збору візуальних даних.

MediaPipe відстежує 21 ключову точку на кожній руці. Ці точки формують скелетну карту руки для аналізу. YOLOv11 використовує ці дані для класифікації літер з точністю 98,2%. Уся система працює з мінімальною затримкою на стандартному обладнанні.

Навчання системи та обробка даних

Дослідники використали велику базу даних для навчання моделі. База ASL Alphabet Hand Gesture Dataset містить 130 000 зображень різноманітних жестів. Зображення охоплюють широкий спектр умов для забезпечення надійності системи.

Кожне зображення має детальні анотації з 21 ключовим пунктом руки. Ці анотації виділяють кінчики пальців, кісточки та зап’ястя. Така детальна інформація дозволяє моделі точно розрізняти схожі жести.

Навчання включало різноманітні умови освітлення та фону. Система вчилася розпізнавати жести при яскравому, тьмяному та затіненому освітленні. Зображення містили як внутрішні, так і зовнішні сцени для максимальної адаптивності.

Суспільне значення та перспективи

Потреба в подібних технологіях надзвичайно висока в США та світі. Приблизно 11 мільйонів американців є глухими. Ще 37,5 мільйона дорослих американців мають різні проблеми зі слухом.

“Значення цього дослідження полягає в тому, що воно може трансформувати комунікацію для глухих людей”, – зазначає доктор Мохаммад Ільяс, співавтор дослідження. Система на основі ШІ може покращити взаємодію в освіті, на робочому місці та в соціальному середовищі.

Професор Імад Махгуб підкреслює гуманітарний аспект проєкту. “Цей проект є чудовим прикладом того, як передові технології штучного інтелекту можуть бути застосовані на благо людства”, – говорить він. Поєднання доступності та високої точності робить систему практичною для щоденного використання.

Майбутній розвиток технології

Наступним етапом розвитку системи буде розширення її можливостей. Дослідники планують перейти від розпізнавання окремих літер до повних речень. Це дозволить більш природне та плавне спілкування.

Декан Коледжу інженерії та комп’ютерних наук доктор Стелла Баталама бачить глобальне значення проєкту. “Подолання комунікаційного розриву за допомогою розпізнавання жестової мови в режимі реального часу відіграє ключову роль у формуванні більш інклюзивного суспільства”, – наголошує вона.

Технологія відкриває нові можливості в доступних комунікаціях. Вона дозволяє людям з вадами слуху самостійно взаємодіяти з оточенням. Розпізнавання жестової мови сприяє соціальній інтеграції та формуванню згуртованої спільноти.

Результати дослідження опубліковані в авторитетному журналі Sensors. До колективу дослідників також входять доктор Еаса Алалвані та доктор Алі Ібрагім. Проєкт демонструє, як інновації в галузі штучного інтелекту можуть значно покращити якість життя людей з особливими потребами.