Команда австрийских инженеров разработала программу для создания музыки, управлять которой можно с помощью мозга. Тесты на добровольцах показали, что она позволяет как воспроизводить уже существующие мелодии, так и создавать новые. Результаты опубликованы в журнале Plos One.
Credit: Lunghammer/TU Graz
В основу программы легла концепция нейрокомпьютерного интерфейса – системы обмена данными между мозгом и электронным устройством. Создание и совершенствование нейроинтерфейсов особенно важно для людей с боковым амиотрофическим склерозом, как у физика Стивена Хокинга, или парализованных из-за травмы спинного мозга. Они способны думать, мечтать, ощущать эмоции, но не могут их выразить и оказываются буквально запертыми в собственном теле. Нейроинтерфейсы дают им возможность наладить связь с окружающим миром.
Сейчас технология позволяет писать сообщения, отправлять электронные письма, пользоваться интернетом, управлять системой «умный дом» и даже рулить моторизированным креслом-каталкой. В 2010 году исследовательская группа из Германии реализовала возможность заниматься живописью при помощи нейроинтерфейса, позволив парализованным художникам снова творить.
Создавать музыку стало возможным благодаря команде специалистов из Грацкого технического университета. Их вдохновили успехи, которых добились их немецкие коллеги.
«У тех художников были выставки, они продавали свои работы. Почему бы не провернуть это и с музыкой?» — рассказывает Гернот Мюллер-Путц (Gernot R. Müller-Putz), лидер команды.
Как и другие нейроинтерфейсы, система основана на обработке определённого сигнала, который с помощью энцефалограммы фиксируется в момент принятия решения. Так как мозг каждого человека индивидуален, сначала необходима калибровка. Во время неё человек смотрит на экран, где изображена сетка букв, отдельные ряды и столбцы которой подсвечиваются случайным образом, а система регистрирует реакцию мозга на событие. В зависимости от того, какой из элементов сетки подсвечен, сигналы мозга несколько различаются.
После калибровки для выбора требуемой буквы следует сосредоточить на ней внимание. Проанализировав сигналы мозга, алгоритм определит, какую букву нужно напечатать или произнести.
В случае с музыкальным нейроинтерфесом его пользователь работает не с буквами, а с нотами. Во время тестирования испытуемые, которые ранее не пользовались нейроинтерфейсами, смогли воспроизвести народную песню «Alouette». Единственным недостатком оказалась длительность процесса: на то, чтобы выделить 25 нот, у добровольцев ушла 21 минута. Также новый нейроинтерфейс протестировал профессиональный музыкант, сочинив с его помощью мелодию из 28 нот за 14 минут.
Мюллера-Путца такая скорость работы не смущает. По его словам, технология должна позволить её пользователям «не жить в таком быстром темпе, как мы».
Далее команда собирается проверить свою разработку на людях с ограниченными возможностями. В перспективе инженеры планируют перейти от системы на базе ноутбука к программе, способной работать на смартфоне. По их словам, это лучший способ обеспечить ею музыкантов, которые хотят поделиться своим творчеством с миром.
Текст: Алла Салькова
Composing only by thought: Novel application of the P300 brain-computer interface by Andreas Pinegger, Hannah Hiebel, Selina C. Wriessnegger, Gernot R. Müller-Putz in Plos One. Published September , 2017
https://doi.org/10.1371/journal.pone.0181584
Читайте материалы нашего сайта в Facebook, ВКонтакте и канале в Telegram, а также следите за новыми картинками дня в Instagram.
Powered by WPeMatico
