Перейти к содержанию

5.3.10 Нейроморфные системы типа II сегодня

Материал из Охота на электроовец: Большая Книга Искусственного Интеллекта

В 2014 г. IBM представила нейроморфный процессор TrueNorth, хотя и созданный без применения мемристоров, но обладающий весьма впечатляющими характеристиками.

Микросхема TrueNorth содержит 4096 вычислительных (так называемых нейросинаптических) ядер, каждое из которых обеспечивает работу 256 искусственных нейронов, что в сумме даёт чуть более миллиона нейронов. В свою очередь, каждый нейрон обладает 256 конфигурируемыми «синапсами»; таким образом, общее количество программируемых синапсов составляет чуть более 268 млн. Потребляемая мощность этого устройства, состоящего из 5,4 млрд транзисторов, составляет всего 70 милливатт[1].

Несмотря на столь впечатляющие показатели, создание TrueNorth стало лишь промежуточным этапом проекта. Для достижения ещё более высокой энергоэффективности было бы предпочтительно заменить цифровые синаптические веса, хранимые TrueNorth в массивах статической памяти с произвольным доступом (static random access memory, SRAM), на аналоговые устройства, способные обеспечить более высокую плотность записи за счёт представления синаптических весов в виде электрического сопротивления отдельных элементов.

Главной проблемой для инженеров из IBM было то, что к моменту начала работы над проектом не было убедительно доказано, что аналоговый подход может обеспечить ту же точность при решении задач, что и существующее программное обеспечение на обычном цифровом оборудовании. Эксперименты с обучением глубоких нейронных сетей на основе аналоговой памяти показывали более низкую точность классификации, связанную с несовершенством существовавших на тот момент аналоговых устройств.

Уже к 2018 г. исследователи успели перепробовать множество удивительных мемристивных устройств, основанных на самых разных принципах, таких, например, как резистивная оперативная память (Resistive random-access memory, ReRAM или RRAM)[2], [3], [4], [5] различных типов, оперативная память с проводящим мостом (Conductive-bridging random-access memory, CBRAM)[6], ENOD (Electrochemical neuromorphic organic device, электрохимическое нейроморфное органическое устройство)[7], LISTA (lithium-ion synaptic transistor for analogue computing, литий-ионный синаптический транзистор для аналоговых вычислений)[8], [9].

В марте 2021 г. учёные из Калифорнийского университета в Сан-Диего представили общественности «моттовский активационный нейрон» (Mott activation neuron) — наноустройство, реализующее кусочно-линейную функцию активации ReLU (о ней мы поговорим позже), являющуюся элементом многих современных нейронных сетей. В основе данного элемента лежит эффект, называемый «переходом Мотта» — в честь открывшего его английского физика Невилла Мотта, лауреата Нобелевской премии по физике 1977 г. Устройство нового элемента весьма изящно: над нанометровым слоем диоксида ванадия расположен нагреватель на основе нанопроволоки из титана и золота. Когда ток течёт через нанопроволоку, слой диоксида ванадия медленно нагревается, что, ввиду вышеуказанного эффекта, приводит к его постепенному превращению из изолирующего в проводящий[10].

Впрочем, между прототипом мемристивного элемента и полноценным процессором на его основе лежит довольно долгий путь, полный различных инженерных трудностей. Например, необходимо научиться создавать не просто единичные элементы, а полноценные массивы таких элементов. Для того чтобы процессор на основе мемристивных элементов мог конкурировать с традиционными интегральными микросхемами, он должен управляться очень короткими и низкоэнергетическими импульсами — иначе устройство будет слишком медленным и будет выделять слишком много тепла. Успеха удалось добиться за счёт создания устройства, сочетающего в себе энергонезависимую память на базе технологии PCM (Phase-change memory, Память с изменением фазового состояния) с классической энергозависимой памятью на основе CMOS для хранения синаптических весов. При этом PCM применялось для осуществления аналоговых операций умножения и накопления, используемых для коррекции весов в методе обратного распространения ошибки. Эксплуатируя это чудо современной технологии, специалисты IBM смогли обучить глубокие нейронные сети решению задач классификации изображений на популярных датасетах (MNIST, зашумлённая версия MNIST, CIFAR-10, CIFAR-100). При этом обученные сети не уступали в точности аналогам, обученным при помощи тензорных процессоров, а потребление электроэнергии в процессе обучения оказалось почти в 300 раз меньше. Результаты исследования, опубликованные[11] в Nature в 2018 г., продемонстрировали возможность создания нейроморфных устройств, способных превзойти тензорные процессоры при решении классических задач глубокого обучения.

В нейроморфную гонку включились и другие производители компьютерного оборудования. Компания Intel продемонстрировала опытный образец процессора Loihi, состоящего из 128 нейросинаптических ядер и трёх ядер Lakemont x86 (Quark). Каждое нейроморфное ядро, созданное на базе 14-нанометрового техпроцесса, обеспечивает работу 1024 искусственных нейронов — каждый с 1024 искусственными синапсами, что даёт в сумме более 130 000 нейронов и 130 млн синаптических связей. Правила обучения сети программируются при помощи системы микрокодов. Intel сообщает, что энергоэффективность Loihi при обучении нейронных сетей примерно в 1000 раз выше, чем при использовании обычных CPU[12], [13], [14]. Первые тестовые чипы были выпущены в ноябре 2017 г. и с 2018 г. стали передаваться ведущим университетам и исследовательским лабораториям[15].

Процессоры Loihi могут быть объединены в вычислительные массивы с помощью плат Intel Nahuku, каждая из которых может нести на себе от 8 до 32 процессоров. Система Pohoiki Beach, запущенная Intel в начале 2019 г., состоит из нескольких плат Nahuku, объединяющих 64 процессора Loihi (в сумме более 8 млн нейронов). В конце 2019 г. компания закончила сборку ещё более грандиозной машины — Pohoiki Springs, объединяющей 768 процессоров Loihi и обеспечивающей работу около 100 млн нейронов (примерно как в мозге мыши)[16].

30 сентября 2021 г. Intel представила Loihi 2 — нейроморфный исследовательский чип второго поколения и Lava — программную среду с открытым исходным кодом для разработки нейроморфных приложений. Усовершенствования в архитектуре Loihi 2 позволили добиться примерно десятикратного ускорения при обработке данных, увеличить число искусственных нейронов до миллиона, а также повысить энергоэффективность системы[17].

О своих нейроморфных амбициях заявляет и другой крупнейший производитель интегральных микросхем — корейская компания Samsung[18].

В августе 2023 г. исследователи из компании IBM на страницах журнала Nature рассказали о новом нейроморфном процессоре, предназначенном для задач распознавания речи[19]. В основе устройства: 35 млн PCM-элементов, объединённых в 34 ячейки, система массово-параллельного обмена данными между ячейками и аналоговая периферийная схема с низким энергопотреблением, которая позволяет достичь производительности 12,4 трлн синаптических операций в секунду на ватт потребляемой мощности. В своих тестах разработчики смогли успешно запустить на пяти таких процессорах нейросеть MLPerf8 с 45 млн параметров, основанную на архитектуре RNNT (Recurrent neural-network transducer, Рекуррентный нейросетевой трансдьюсер).

Практически одновременно другая группа исследователей из IBM опубликовала в Nature Electronics статью[20] про гибридный процессор, предназначенный для инференса (исполнения) нейросетевых моделей. Этот процессор сочетает цифровые вычисления, выполняемые схемой, основанной на 14-нм комплементарной технологии металл — оксид — полупроводник, с аналоговыми вычислениями во встроенной PCM-памяти (Analogue in-memory computing, AIMC). Устройство состоит из 64 ядер, соединённых в единую сеть. В зависимости от выбранной степени точности процессор позволяет достичь производительности от 2,48 до 9,76 трлн операций в секунду на ватт. Исследователи успешно запустили на нём нейросети с архитектурами ResNet и LSTM, получив точность, практически не уступающую точности тензорных процессоров.

Сегодня число проектов нейроморфных чипов, находящихся на разной степени готовности, перевалило за десяток. Это и DYNAP (Dynamic Neuromorphic Asynchronous Processor, Динамический нейроморфный асинхронный процессор) от компании aiCTX (AI Cortex)[21], и Dynamic Vision Sensor (Динамический зрительный сенсор) от iniVation[22] (обе компании связаны с ETH-Zürich), и нейроморфный процессор Akida от компании BrainChip, и RAMP (Reconfigurable Analog Modular Processor, Реконфигурируемый аналоговый модульный процессор) от Aspinity[23], и совместный китайско-сингапурский Tianjic[24], и Eyeriss от MIT[25], и EIE (Efficient Inference Engine, Эффективный движок для выполнения [нейросетевых моделей]) из Стэнфорда[26], и российский «Алтай» от новосибирской компании «Мотив»[27] и так далее.

Подробный обзор[28] существующих нейроморфных систем был опубликован в конце июля 2020 г. в журнале Nature, однако новые устройства подобного рода появляются едва ли не ежемесячно — сегодня это весьма горячее направление развития технологий. Развитие специализированного оборудования для задач машинного обучения — мощный двигатель прогресса в области ИИ. И хотя новая коннекционистская весна опиралась по большей части на тензорные процессоры — главную сегодня «рабочую лошадку» индустрии глубокого обучения, — ситуация может измениться в любой момент, поскольку в наши дни множество усилий учёных и инженеров направлено на изучение существующих альтернатив, в первую очередь всевозможных нейроморфных архитектур. Исследователи из Национального института стандартов и технологий США разработали искусственные синапсы на базе нанотекстурированных магнитных джозефсоновских контактов[29], китайские учёные предлагают искусственные синапсы на базе графеновых ферроэлектрических транзисторов[30], в Южной Калифорнии разработаны синаптические транзисторы на базе выровненных углеродных нанотрубок[31], разрабатываются различные типы оперативной памяти с интегрированными вычисляющими элементами (Computational RAM).

В начале 2022 г. в журнале Science была опубликована работа[32] группы американских учёных, которым удалось создать полностью реконфигурируемую нейроморфную структуру на базе никелата перовскита — по сути, речь идёт об устройстве, реализующем нейронную сеть, архитектура которой может изменяться под воздействием электрических импульсов. Всего через полторы недели после этой работы, уже в Nature Communications, увидела свет статья[33] шведских учёных, посвящённая исследованию другого потенциального физического субстрата для нейроморфных вычислений — электромеханически переключаемых углеводородов на основе [8]аннуленов.

Чаще всего экспериментальные мемристоры создаются на базе тех же технологий, что и различные массивы памяти, однако в 2022 г. в журнале Science вышла новая любопытная статья. В ней исследователи Массачусетского технологического института утверждают, что компоненты, оптимизированные для долговременного хранения информации, плохо подходят для осуществления регулярных переходов между состояниями, необходимых для постоянно подстраиваемых синаптических связей искусственной нейронной сети. Дело в том, что физические свойства, обеспечивающие долговременную стабильность, обычно плохо сочетаются со свойствами, обеспечивающими быстрое переключение. Для решения проблемы скорости исследователи разработали программируемые резисторы, проводимость которых регулируется введением или удалением протонов в канал, состоящий из фосфоросиликатного стекла (ФСС). Этот механизм отдалённо напоминает принцип работы биологических нейронов, в которых ионы переносят сигналы через синаптические щели. Разработанное устройство имеет три вывода, два из которых являются по существу входом и выходом синапса, а третий используется для применения электрического поля, которое в зависимости от направления стимулирует движение протонов из резервуара в канал из ФСС или обратно (чем больше протонов в канале, тем выше его сопротивление). Эту схему работы устройства исследователи придумали ещё в 2020 г., однако они не сразу догадались использовать ФСС. Именно такое решение позволило резко увеличить скорость переключения устройства: наноразмерные поры в структуре ФСС позволяют протонам очень быстро перемещаться через него, и ещё ФСС способно выдерживать очень сильные импульсы электрического поля, а более мощные электрические поля позволяют протонам перемещаться гораздо быстрее. Поскольку напряжение выше 1,23 вольта заставляет воду, составляющую основную часть клеток, расщепляться на водород и кислород, то электрические поля в мозге должны быть относительно слабыми. Во многом поэтому длительность неврологических процессов обычно составляет миллисекунды. В отличие от биологических синапсов вышеописанное устройство способно работать при напряжении до 10 вольт и с импульсами длительностью до 5 нс. Вдобавок размеры таких устройств измеряются всего лишь нанометрами, что делает их в 1000 раз меньше биологических синапсов[34], [35].

Создание систем такого рода открывает перед нейроморфной инженерией новые удивительные перспективы.

  1. ↑ Merolla P. A., Arthur J. V., Alvarez-Icaza R., Cassidy A. S., Sawada J., Akopyan F., Jackson B. L., Imam N., Guo C., Nakamura Y., Brezzo B., Vo I., Esser S. K., Appuswamy R., Taba B., Amir A., Flickner M. D., Risk W. P., Manohar R., Modha D. S. (2014). A million spiking-neuron integrated circuit with a scalable communication network and interface / Science, Vol. 345 (6197): 668 // https://doi.org/10.1126/science.1254642
  2. ↑ Yu S., Chen P.-Y., Cao Y., Xia L., Wang Y., Wu H. (2015). Scaling-up resistive synaptic arrays for neuro-inspired architecture: challenges and prospect / 2015 IEEE International Electron Devices Meeting / https://doi.org/10.1109/IEDM.2015.7409718
  3. ↑ Gao L., Wang I.-T., Chen P.-Y., Vrudhula S., Seo J.-s., Cao Y., Hou T.-H., Yu S. (2015). Fully parallel write/read in resistive synaptic array for accelerating on-chip learning / Nanotechnology, Vol. 26, Num. 45 // https://doi.org/10.1088/0957-4484/26/45/455204
  4. ↑ Prezioso M., Merrikh-Bayat F., Hoskins B. D., Adam G. C., Likharev K. K., Strukov D. B. (2015). Training and operation of an integrated neuromorphic network based on metal-oxide memristors / Nature, Vol. 521, pp. 61—64 // https://doi.org/10.1038/nature14441
  5. ↑ Jang J.-W., Park S., Burr G. W., Hwang H., Jeong Y.-H. (2015). Optimization of conductance change in Pr1−xCaxMnO3-based synaptic devices for neuromorphic systems / IEEE Electron Device Letters, Vol. 36, No. 5, pp. 457—459 // https://researcher.watson.ibm.com/researcher/files/us-gwburr/PCMO_neuromorphic_EDL2015.pdf
  6. ↑ Jeong Y. J., Kim S., Lu W. D. (2015). Utilizing multiple state variables to improve the dynamic range of analog switching in a memristor / Applied Physics Letters, Vol. 107 // https://doi.org/10.1063/1.4934818
  7. ↑ van de Burgt Y., Lubberman E., Fuller E. J., Keene S. T., Faria G. C., Agarwal S., Marinella M. J., Talin A. A., Salleo A. (2017). A non-volatile organic electrochemical device as a low-voltage artifcial synapse for neuromorphic computing / Nature Materials, Vol. 16, pp. 414—418 // https://doi.org/10.1038/nmat4856
  8. ↑ Agarwal S., Jacobs Gedrim R. B., Hsia A. H., Hughart D. R., Fuller E. J., Talin A. A., James C. D., Plimpton S. J., Marinella M. J. (2017). Achieving ideal accuracies in analog neuromorphic computing using periodic carry / 2017 Symposium on VLSI Technology // https://doi.org/10.23919/VLSIT.2017.7998164
  9. ↑ Upadhyay N. K., Jiang H., Wang Z., Asapu S., Xia Q., Joshua Yang J. (2019). Emerging Memory Devices for Neuromorphic Computing / Advanced Materials Technologies, 1800589 // https://doi:10.1002/admt.201800589
  10. ↑ Oh S., Shi Y., del Valle J., Salev P., Lu Y., Huang Z., Kalcheim Y., Schuller I. K., Kuzum D. (2021). Energy-efficient Mott activation neuron for full-hardware implementation of neural networks / Nature Nanotechnology, Vol. 16, pp. 680—687 // https://doi.org/10.1038/s41565-021-00874-8
  11. ↑ Ambrogio S., Narayanan P., Tsai H., Shelby R. M., Boybat I., Nolfo C., Sidler S., Giordano M., Bodini M., Farinha N. C. P., Killeen B., Cheng C., Jaoudi Y., Burr G. W. (2018). Equivalent-accuracy accelerated neural-network training using analogue memory / Nature, Vol. 558, pp. 60—67 // https://doi.org/10.1038/s41586-018-0180-5
  12. ↑ Mayberry M. (2017). Intel’s New Self-Learning Chip Promises to Accelerate Artificial Intelligence / Intel newsroom, September 25, 2017 // https://newsroom.intel.com/editorials/intels-new-self-learning-chip-promises-accelerate-artificial-intelligence/
  13. ↑ Davies M. (2018). Loihi — a brief introduction // http://niceworkshop.org/wp-content/uploads/2018/05/Mike-Davies-NICE-Loihi-Intro-Talk-2018.pdf
  14. ↑ Loihi – Intel / WikiChip // https://en.wikichip.org/wiki/intel/loihi
  15. ↑ Mayberry M. (2018). Intel Creates Neuromorphic Research Community to Advance ‘Loihi’ Test Chip / Intel newsroom, March 1, 2018 // https://newsroom.intel.com/editorials/intel-creates-neuromorphic-research-community/
  16. ↑ News Byte (2020). Intel Scales Neuromorphic Research System to 100 Million Neurons / Intel newsroom, March 18, 2020 // https://newsroom.intel.com/news/intel-scales-neuromorphic-research-system-100-million-neurons/
  17. ↑ Intel Advances Neuromorphic with Loihi 2, New Lava Software Framework and New Partners (2021) / Intel newsroom, September 30, 2021 // https://www.intel.com/content/www/us/en/newsroom/news/intel-unveils-neuromorphic-loihi-2-lava-software.html
  18. ↑ Ham D., Park H., Hwang S., Kim K. (2021). Neuromorphic electronics based on copying and pasting the brain / Nature Electronics, Vol. 4, pp. 635—644 // https://doi.org/10.1038/s41928-021-00646-1
  19. ↑ Ambrogio S., Narayanan P., Okazaki A., Fasoli A., Mackin C., Hosokawa K., Nomura A., Yasuda T., Chen A., Friz A., Ishii M., Luquin J., Kohda Y., Saulnier N., Brew K., Choi S., Ok I., Philip T., Chan V., Silvestre C., Ahsan I., Narayanan V., Tsai H., Burr G. W. (2023). An analog-AI chip for energy-efficient speech recognition and transcription / Nature, Vol. 620, pp. 768–775 // https://doi.org/10.1038/s41586-023-06337-5
  20. ↑ Le Gallo M., Khaddam-Aljameh R., Stanisavljevic M., Vasilopoulos A., Kersting B., Dazzi M., Karunaratne G., Brändli M., Singh A., Müller S. M., Büchel J., Timoneda X., Joshi V., Rasch M. J., Egger U., Garofalo A., Petropoulos A., Antonakopoulos T., Brew K., Choi S., Ok I., Philip T., Chan V., Silvestre C., Ahsan I., Saulnier N., Narayanan V., Francese P. A., Eleftheriou E., Sebastian A. (2023). A 64-core mixed-signal in-memory compute chip based on phase-change memory for deep neural network inference / Nature Electronics, 10 August 2023 // https://doi.org/10.1038/s41928-023-01010-1
  21. ↑ Moradi S., Qiao N., Stefanini F., Indiveri G. (2017). A Scalable Multicore Architecture With Heterogeneous Memory Structures for Dynamic Neuromorphic Asynchronous Processors (DYNAPs) / IEEE Transactions on Biomedical Circuits and Systems, Vol. 12, Iss. 1 // https://doi.org/10.1109/TBCAS.2017.2759700
  22. ↑ Delbruck T. (2017). The development of the DVS and DAVIS sensors / ICRA 2017 workshop on Event-Based Vision, Singapore, June 2, 2017 // http://rpg.ifi.uzh.ch/docs/ICRA17workshop/Delbruck.pdf
  23. ↑ RAMP Technology: Stop wasting battery power on the digitization of irrelevant data / Aspinity // https://www.aspinity.com/Technology
  24. ↑ Pei J., Deng L., Song S., Zhao M., Zhang Y., Wu S., Wang G., Zou Z., Wu Z., He W., Chen F., Deng N., Wu S., Wang Y., Wu Y., Yang Z., Ma C., Li G., Han W., Li H., Wu H., Zhao R., Xie Y., Shi L. (2019). Towards artificial general intelligence with hybrid Tianjic chip architecture / Nature, Vol. 572, pp. 106—111 // https://doi.org/10.1038/s41586-019-1424-8
  25. ↑ Chen Y., Krishna T., Emer J., Sze V. (2016). Eyeriss: An Energy-Efficient Reconfigurable Accelerator for Deep Convolutional Neural Networks / IEEE ISSCC 2016 // http://eyeriss.mit.edu/
  26. ↑ Han S., Liu X., Mao H., Pu J., Pedram A., Horowitz M. A., Dally W. J. (2016). EIE: Efficient Inference Engine on Compressed Deep Neural Network / 2016 ACM/IEEE 43rd Annual International Symposium on Computer Architecture // https://www.cs.virginia.edu/~smk9u/CS6501F16/p243-han.pdf
  27. ↑ Нейроморфный процессор «Алтай» (2019) / Мотив: Нейроморфные технологии // https://motivnt.ru/neurochip-altai/
  28. ↑ Zhang W., Gao B., Tang J., Yao P., Yu S., Chang M.-F., Yoo H.-J., Qian H., Wu H. (2020). Neuro-inspired computing chips / Nature Electronics, Vol. 3, pp. 371—382 // https://doi.org/10.1038/s41928-020-0435-7
  29. ↑ Schneider M. L., Donnelly C. A., Russek S. E., Baek B., Pufall M. R., Hopkins P. F., Dresselhaus P. D., Benz S. P., Rippard W. H. (2018). Ultralow power artificial synapses using nanotextured magnetic Josephson junctions / Science Advances, Vol. 4, no. 1 // https://doi.org/10.1126/sciadv.1701329
  30. ↑ Chen Y., Zhou Y., Zhuge F., Tian B., Yan M., Li Y., He Y., Shui Miao X. (2019). Graphene–ferroelectric transistors as complementary synapses for supervised learning in spiking neural network / npj 2D Materials and Applications, 3, 31 // https://doi.org/10.1038/s41699-019-0114-6
  31. ↑ Sanchez Esqueda I., Yan X., Rutherglen C., Kane A., Cain T., Marsh P., Liu Q., Galatsis K., Wang H., Zhou C. (2018). Aligned Carbon Nanotube Synaptic Transistors for Large-Scale Neuromorphic Computing / ACS Nano, Vol. 12, Iss. 7, pp. 7352—7361 // https://doi.org/10.1021/acsnano.8b03831
  32. ↑ Zhang H.-T., Park T. J., Islam A. N. M. N., Tran D. S. J., Manna S., Wang Q., Mondal S., Yu H., Banik S., Cheng S., Zhou H., Gamage S., Mahapatra S., Zhu Y., Abate Y., Jiang N., Sankaranarayanan S. K. R. S., Sengupta A., Teuscher C., Ramanathan S. (2022). Reconfigurable perovskite nickelate electronics for artificial intelligence / Science, Vol. 375, Iss. 6580, pp. 533—539 // https://doi.org/10.1126/science.abj7943
  33. ↑ Tasić M., Ivković J., Carlström G., Melcher M., Bollella P., Bendix J., Gorton L., Persson P., Uhlig J., Strand D. (2022). Electro-mechanically switchable hydrocarbons based on [8]annulenes / Nature Communications, Vol. 13, Iss. 860 // https://doi.org/10.1038/s41467-022-28384-8
  34. ↑ Gent E. (2022). MIT Researchers Create Artificial Synapses 10,000x Faster Than Biological Ones. / Singularity hub, August 1, 2022 // https://singularityhub.com/2022/08/01/mit-researchers-created-artificial-synapses-10000x-faster-than-biological-ones/
  35. ↑ Onen M., Emond N., Wang B., Zhang D., Ross F. M., Li J., Yildiz B., Del Alamo J. A. (2022). Nanosecond protonic programmable resistors for analog deep learning // https://doi.org/10.1126/science.abp8064
Loading comments...
Источник — http://wiki.markoff.science/index.php?title=5.3.10_Нейроморфные_системы_типа_II_сегодня&oldid=1189