Новый алгоритм на базе искусственного интеллекта (ИИ) может преобразовать активность вашего мозга в образы. Он сумел распознать тысячу картинок с точностью совпадения около 80%.
На картинке выше в верхнем ряду изображения, на которые смотрели люди. В нижнем ряду изображения, созданные алгоритмом, проанализировавшим мысленную активность этих людей.
За основу был взят алгоритм нейросети DALL-E 2 от OpenAI, которая с помощью стабильной диффузии (LDM), создает изображения по текстовому описанию.
Команда ученых из Японии раздала подопытной группе набор с картинками, а когда люди рассматривали картинки, им делали МРТ (магнитно-резонансная томография). Затем снимки МРТ были отданы на расшифровку искусственному интеллекту.
"Мы показываем, что наш метод может реконструировать изображения высокого разрешения с высокой семантической точностью по активности человеческого мозга", - поделилась команда в исследовании, опубликованном в bioRxiv.
"В отличие от предыдущих исследований реконструкции изображений, наш метод не требует обучения или тонкой настройки сложных моделей глубокого обучения".
По словам Ю Такаги, руководителя этого исследования, алгоритм извлекает информацию из частей мозга, участвующих в восприятии изображений, таких как затылочная и височная доли.
Команда использовала МРТ, потому что она улавливает изменения кровотока в активных областях мозга. МРТ может обнаруживать даже молекулы кислорода, поэтому сканеры могут видеть, где в мозге наши нейроны — нервные клетки мозга — работают больше всего (и потребляют больше всего кислорода), когда мы думаем или испытываем эмоции.
В этом исследовании участвовали всего четыре участника, каждый из которых просматривал набор из тысячи изображений.
"Мы демонстрируем, что наша простая структура может восстанавливать изображения с высоким разрешением из активности мозга с высокой семантической точностью", - говорится в исследовании.
"Мы количественно интерпретируем каждый компонент LDM с точки зрения неврологии, сопоставляя конкретные компоненты с отдельными областями мозга.
Мы представляем объективную интерпретацию того, как процесс преобразования текста в изображение, реализованный LDM, включает семантическую информацию, выраженную условным текстом, и в то же время сохраняет внешний вид исходного изображения".
Объединение искусственного интеллекта со сканерами мозга было давней задачей научного сообщества, которая, по их мнению, является новым ключом к открытию нашего внутреннего мира.
0
