Самый быстрый в мире суперкомпьютер потребляет 21 миллион ватт мощности. Для сравнения, наш мозг потребляет всего 20 Вт — примерно столько же энергии, сколько необходимо для лампочки.
На протяжении десятилетий инженеры были очарованы тем, как работает наш мозг. Конечно, компьютеры превзойдут нас в своих возможностях математических вычислений. Но они борются с задачами, с которыми человеческий мозг, кажется, справляется без особых усилий.
Почему это?
Вычисляем как мозг
Джастин Кинни, нейробиолог, биоинженер и технолог из отдела исследований и разработок Western Digital, объяснил: «На самом деле никто не понимает, как работает мозг».
Кинни знал бы. Большую часть своей карьеры он посвятил попыткам разгадать тайны мозга. Инженер, ставший нейробиологом, Кинни надеялся присоединиться к сообществу нейробиологов, изучить то, что они уже знали, а затем применить это к вычислениям.
«К моему большому разочарованию, я обнаружил, что нейробиологи на самом деле не понимают работу мозга. Никто не делает. И это потому, что данных мало», — сказал он.
Мозг считается одной из самых сложных известных структур во Вселенной. Он имеет миллиарды нейронов, триллионы связей и множество уровней — от клеточного до молекулярного и синаптического. Но самая большая проблема заключается в том, что к мозгу трудно получить доступ.
«Мозг заключен в толстую кость, — сказал Кинни, — и если вы попытаетесь получить к нему доступ, ткнуть или подтолкнуть его, он сильно расстроится и произойдет кровоизлияние, а нежные нейроны погибнут».
Тем не менее, по словам Кинни, прогресс наблюдается на различных фронтах, особенно в области регистрации активности мозга, что является хорошей новостью для тех, кто пытается создать компьютеры, подобные мозгу.
«Мы узнали, что существуют сходства в компьютерных принципах, когда речь идет о том, как нейроны общаются и как мы используем электронику и схемы для выполнения функциональных задач и манипулирования цифровой информацией», — сказал Кинни.
«В конечном счете, мы хотели бы создать вычислительное оборудование следующего поколения, использующее все возможности мозга для эффективных вычислений, памяти и хранения».
Нейроморфные вычисления
Доктор Джейсон Эшрагян — доцент кафедры электротехники и вычислительной техники Калифорнийского университета в Санта-Крус (UCSC) и возглавляет университетскую группу нейроморфных вычислений.
Нейроморфные вычисления — это новая область, в которой основное внимание уделяется разработке электронных схем, алгоритмов и систем, вдохновленных нейронной структурой мозга и его механизмами обработки информации.
Однако Эшрагян подчеркивает, что его цель не в воспроизведении биологического интеллекта. «Моя цель — не копировать мозг», — сказал он. «Моя цель — быть полезным. Я пытаюсь выяснить, что полезного в мозге и что мы понимаем в достаточной степени, чтобы отобразить его в схеме».
Одной из областей, которая была в центре внимания Эшрагяна, является механизм импульсов нейронов. В отличие от постоянной активности моделей искусственного интеллекта, таких как ChatGPT, нейроны мозга обычно ведут себя довольно тихо. Они стреляют только тогда, когда есть что-то, из-за чего стоит стрелять.
Эшрагян спросил: «Сколько раз вы просили ChatGPT перевести что-нибудь на фарси или турецкий язык? Существует огромная часть ChatGPT, к которой лично я никогда не буду подключаться, и это все равно, что сказать: ну, а зачем мне это? Почему это должно быть активно? Может быть, вместо этого мы сможем сосредоточиться на той части схемы, которая имеет значение, и позволить ей активироваться на короткое мгновение».
На своем пути к вычислениям, подобным мозгу, Эшрагян использует еще одну хитрость мозга: измерение времени – или временное измерение. «Существует много споров о том, как мозг получает аналоговую информацию из окружающего нас мира, преобразует ее в импульсы и передает в мозг», — сказал он. «Похоже, что временной механизм является доминирующим, а это означает, что информация хранится во времени одного всплеска — независимо от того, происходит ли что-то быстрее или медленнее».
Эшрагян считает, что использование временного измерения будет иметь глубокие последствия, особенно для полупроводниковых чипов. Он утверждает, что со временем мы исчерпаем возможности вертикального масштабирования 3D. — Тогда что еще ты делаешь? он спросил. «Я верю, что тогда вам придется отправиться в четвертое измерение. И это время».
Аппаратное обеспечение, подобное мозгу
Опираясь на импульсные и временные механизмы, Эшрагян и его команда разработали SpikeGPT, крупнейшую импульсную нейронную сеть для генерации языка. Нейронная сеть потребляет в 22 раза меньше энергии, чем другие крупные модели языков глубокого обучения. Но Эшрагян подчеркивает, что новые схемы и оборудование будут иметь жизненно важное значение для раскрытия всего его потенциала.
«Что определяет программное обеспечение мозга?» он спросил. «Ответ – это физический субстрат самого мозга. Нейронный код — это нейронное оборудование. И если нам удастся имитировать эту концепцию и создать вычислительное оборудование, которое идеально описывает программные процессы, мы сможем запускать модели ИИ с гораздо меньшими затратами энергии и гораздо меньшими затратами».
С самого начала информационной эпохи большинство компьютеров было построено на архитектуре фон Неймана. В этой модели память и процессор разделены, поэтому данные постоянно перемещаются между процессором и памятью, затрачивая энергию и время.
Но мозг работает не так. Мозг — удивительно эффективное устройство, поскольку нейроны хранят и память, и вычисления в одном и том же месте.
Теперь класс новых воспоминаний — резистивная оперативная память, магнитная память, такая как MRAM, и даже память из керамики — демонстрируют потенциал для этого типа нейроморфных вычислений, поскольку базовые операции умножения и сложения выполняются в самой памяти.
Идея не надуманная. Недавнее сотрудничество, такое как сотрудничество Western Digital с Национальным институтом стандартов и технологий США (NIST), успешно продемонстрировало потенциал этих технологий в решении проблемы энергопотребления ИИ.
Инженеры надеются, что в будущем они смогут использовать технологию невероятной плотности памяти для хранения 100 миллиардов параметров искусственного интеллекта на одном кристалле или одном твердотельном накопителе и выполнять вычисления в самой памяти. В случае успеха эта модель выведет искусственный интеллект из огромных энергоемких центров обработки данных прямо в наши руки.
Лучше, чем мозг
Нейроморфные вычисления — амбициозная цель. Хотя отрасль имеет более чем 70-летний опыт вычисления жестких цифровых чисел с помощью процессоров, память — это совершенно другой зверь: беспорядочный, мягкий, аналоговый и шумный. Но достижения в области схемотехники, алгоритмов и архитектуры, подобные тем, которые были достигнуты инженерами и учеными Western Digital, демонстрируют прогресс, выходящий далеко за рамки одних только исследований.
Для доктора Эшрагяна создание группы нейроморфных вычислений в Калифорнийском университете в Калифорнии свидетельствует о переходе этой области от исследовательских к практическим занятиям, расширяя границы возможного.
«Хотя мы говорим, что мозг — это золотой стандарт и идеальная модель интеллекта, разработчики схем не обязательно подчиняются тем же ограничениям, что и мозг», — сказал Эшрагян. «Процессоры могут работать на гигагерцовой частоте, но наш мозг расплавился бы, если бы нейроны работали так быстро. Таким образом, есть много возможностей просто превзойти все, на что способен мозг».
Кинни из Western Digital согласен. «Мы предполагаем, что некоторые детали мозга могут быть артефактами эволюции и того факта, что мозг должен строить себя сам. В то время как системы, которые мы проектируем, пока не имеют такого ограничения», — сказал он.
Кинни надеется, что, исследуя вычислительные функции с помощью доступных нам материалов — кремния, металла и даже органоидов мозга в чашке — мы сможем случайно раскрыть, что происходит в мозге.
«Я верю, что вопрос энергоэффективности поможет нам раскрыть секреты мозга, так что давайте займемся этим вопросом», — сказал он.
«Как мозг может делать так много с такими малыми затратами?»
