Google представила новую архитектуру нейросетей под названием Titans. По словам исследователей компании, она позволит системам машинного обучения эффективнее обрабатывать большие объемы данных и использовать долгосрочную память, прямо как человек.
Разработкой Titans занимается группа специалистов Google во главе с Али Бехрузом (от которого и поступила информация), Пейлином Чжуном и Вахабом Миррокни. Основная идея заключается в том, чтобы объединить кратковременную и долговременную память в одной модели, тем самым преодолев ограничения традиционных архитектур.
Исследователи подчеркивают, что Titans демонстрируют впечатляющие результаты в языковом моделировании, анализе временных рядов, геномов и выполнении логических задач, которые требуют запоминания информации "в долгую".
Одна из ключевых особенностей новой архитектуры - способность работать с миллионами точек данных без потери точности. При этом сам модуль памяти устроен так, чтобы понимать, какую информацию следует хранить, а от чего можно отказаться. Разработчики вдохновлялись принципами человеческой памяти: есть краткосрочная память, внимание к текущей ситуации, и есть долгосрочная память, где хранятся более сложные и длительные воспоминания. В Titans это реализовано с помощью дополнительного нейронного модуля, отвечающего за долгосрочное хранение данных.
Для удобства применения в различных задачах Google подготовила три варианта Titans: MAC (Memory as Context), MAG (Memory as Gating) и MAL (Memory as a Layer). Каждый из них решает свою узконаправленную задачу по сохранению и использованию памяти. По заявлениям команды разработчиков, в некоторых тестах, например в задачах с расширенной логикой и длинным контекстом, Titans превосходят не только классические, но и многие современные архитектуры.
Так, у ChatGPT 4 тысячи контекстных токенов, то есть за одну сессию нейросеть сможет проанализировать примерно 4 тысячи слов, прежде чем память начнет очищаться, а факты потеряют точность. У Titans этих токенов будет около 2 миллионов, этого хватит, чтобы анализировать целые книги.
Ранее основатель OpenAI Сэм Альтман рассказывал, что искусственный интеллект осознает себя в ближайшие 5 лет.
