Комп’ютер навчили читати думки людини, перетворюючи їх на текст (Фото:prometeus / depositphotos) Австралійські дослідники розробили інноваційну технологію DeWave. Їхня неінвазивна система зі штучним інтелектом може перетворювати мовчазні думки на текст за допомогою звичайної кепки з датчиками. Вже наявні методи перекладу мозкових сигналів на мову вимагають інвазивних хірургічних операцій для імплантації електродів в мозок або ж громіздких, дорогих апаратів МРТ. DeWave неймовірно спростила цей процес: мозкові хвилі учасників експериментів записували за допомогою кепки з датчиками для створення електроенцефалограми (ЕЕГ), зрештою їх декодували в текст.
Як пише Science Alert, наразі DeWave має не дуже високу точність — трохи понад 40%, але автори впевнені, що досягнути результату в 90% можливо. Для навчання моделі дослідники з Технологічного університету Сіднея (UTS) використовували мовні моделі (BERT з GPT), які тестували на наявних наборах даних, створених під час відстежування руху очей і мозкової активності людей під час читання тексту. Ці дані допомогли системі навчитися зіставляти шаблони мозкових хвиль зі словами з «кодової книги» DeWave.
Поки системі найкраще вдається працювати з дієсловами. З іменниками чимало труднощів. Наприклад, слово «автор» система розуміє як більш загальне «людина».
«Ми вважаємо, що це тому, що коли мозок обробляє ці слова, семантично подібні слова можуть створювати схожі шаблони мозкових хвиль», — каже перший автор дослідження Іцюнь Дуань, комп’ютерний науковець з UTS.
Попри це, науковець Чін-Тен Лін з UTS впевнений, що ця система — справжній прорив.
«Це дослідження є першопрохідцем у перекладі необроблених хвиль ЕЕГ безпосередньо на мову, що знаменує значний прорив у цій галузі. … Попри труднощі, наша модель дає значні результати, вирівнюючи ключові слова та формуючи подібні структури речень. … Інтеграція з великими мовними моделями також відкриває нові межі в нейронауці та ШІ», — наголошує він.
Дослідники сподіваються ефективно вдосконалити систему і зрештою зробити її корисною для людей з інсультом і паралічем, поліпшити за допомогою неї можливості керування біонічними кінцівками та роботами.