Школяр родом з Донеччини Микита Теличко розробив винахід на основі ШІ для вивчення жестової мови. На розробку його надихнув брат, який користується слуховим апаратом. Інтерактивний словник з використанням комп’ютерного зору і відкритих баз приніс Микиті золото на конкурсі інноваційних проєктів МАН.
Микита родом з Донецька. Після окупації родина переїхала до Вугледара, а нині вони живуть у Великій Британії. Винахід хлопця вже протестували в Асоціації глухих в одному з міст Великої Британії. Після їхніх відгуків Микита вирішив додати більше мов у розробку.
«Ти просто заходиш на сайт, пишеш слово, знаходиш відео, як це слово показати і намагаєшся його відтворити, але ніякого зворотного зв’язку не отримуєш. Тобто ти просто намагаєшся повторити, але не розумієш, чи правильно показуєш. Мій проєкт допомагає саме перевірити, чи зможуть тебе зрозуміти. А ще так швидше вивчити жестову мову, бо коли ти сам показуєш, то краще запам’ятовуєш», — каже Микита.
Школяр з Донеччини розробив винахід на основі ШІ для вивчення жестової мови
Ключові компоненти рішення в його проєкті — використання Python та MediaPipe для розпізнавання жестів, інтеграція бази даних WLASL та розробка інтуїтивного користувацького інтерфейсу. Прототип словника має систему розпізнавання жестів через вебкамеру, функцію порівняння з еталонними зразками та візуальне відображення схожості виконаного жесту з еталонним.
«Микита зробив це таким чином, щоб за допомогою ШІ розпізнавати рухи — камера зчитує рухи, співставляє з оригінальним зображенням та виводить на екран кількість відсотків співпадіння. 100% — це ідеальний збіг, 90-95% — вже молодець. Якщо ж показує 20-30% — треба повторювати, щоб підвищити свій рівень», — розповідає учителька інформатики Покровської школи №9 Дар’я Литвин, яка була однією з наукових керівників проєкту.
Хлопець каже, що треба вдосконалити алгоритм перевірки жестів та переробити інтерфейс. Наразі він доступний лише в одному екземплярі — у Микити на комп’ютері. А він хоче зробити так, щоб отримати доступ міг будь-хто.