Большие языковые модели (LLM), наиболее известная из которых ChatGPT, за последние пару лет стали намного лучше обрабатывать и генерировать человеческий язык. Однако, несмотря на очевидный прогресс, вопрос о том, насколько точно они имитируют нейронные процессы, оставался открытым.
Недавнее исследование, проведенное учеными из Колумбийского университета и Институтов медицинских исследований имени Файнстейна, показало, что по мере того, как языковые модели становятся более продвинутыми, они не только работают лучше, но и становятся более похожими на человеческий мозг.
В рамках исследования изучались 12 моделей с открытым исходным кодом, имеющих схожую архитектуру и количество параметров. Одновременно с этим проводились замеры нейронной активности мозга пациентов, проходивших нейрохирургическое лечение, которым были имплантированы электроды. Во время эксперимента пациенты слушали речь, а исследователи фиксировали активность различных областей мозга.
Затем текст этой же речи был передан на обработку ИИ-моделям. Ученые извлекли из моделей так называемые "вложения" – внутренние цифровые коды, которые используются различными слоями модели для кодирования и обработки текста. Чтобы оценить сходство между ИИ-алгоритмами и мозгом, авторы попытались предсказать нейронные реакции на слова, используя эти вложения.
Особое внимание уделялось тому, какие именно слои LLM наиболее тесно коррелируют с различными областями мозга, ответственными за обработку языка. Известно, что в нашем мозге обработка речи происходит поэтапно: от анализа акустических характеристик звука к распознаванию фонем и, наконец, к пониманию смысла слов и предложений.
Полученные данные показали, что по мере того, как чат-боты становятся более производительными (например, лучше отвечают на вопросы), их встраивания становятся все более похожими на нейронные реакции мозга. У наиболее продвинутых моделей это сходство выражено сильнее всего, а их структура все ближе соответствует иерархии процессов, происходящих в мозге.
По словам ученых, механизм работы мозга до сих пор остается во многом загадкой. Исследования в области искусственного интеллекта могут не только помочь лучше понять нейронные процессы, но и использовать знания о работе мозга для дальнейшего совершенствования ИИ.
Сообщалось, что в планах у OpenAI запустить новую большую языковую модель Orion. По ожиданиям разработчиков, эта модель должна выйти на уровень "общего искусственного интеллекта" (AGI). Общение с таким ИИ будет напоминать общение с живым человеком.
Создатель ChatGPT считает, что искусственный интеллект осознает себя в ближайшие 5 лет. Удивительно, но это не сильно повлияет на жизнь людей, заявил Сэм Альтман. Бывший же главный научный сотрудник OpenAI Илья Суцкевер говорит, что безопасность ИИ является самой важной технической проблемой нашего времени.
