5.3.8 Нейроморфные системы типа II. Начало
Пока научные коллаборации заняты развитием нейроморфных систем типа I, моделируя биологические процессы, параллельно происходит развитие систем типа II, дающее осторожные надежды на то, что нейроморфное «железо» вскоре может стать частью массовых пользовательских устройств. В первую очередь оно может быть востребовано там, где особенно важно повысить мобильность машин — в носимых устройствах (например, смартфонах или фитнес-трекерах), в бионических протезах (здесь применение импульсных нейронных сетей может быть особенно полезным, поскольку такая сеть способна «общаться» с нервной системой «на одном языке»), на борту дронов и других автономных или полуавтономных устройств (например, пользовательских роботов). Серьёзный интерес проявляют к нейроморфным системам типа II и военные. Во всяком случае, наиболее заметный проект 2010-х гг. в этой области — нейроморфный чип от IBM под названием TrueNorth — был создан в рамках военной программы DARPA SyNAPSE (Systems of Neuromorphic Adaptive Plastic Scalable Electronics, Системы нейроморфной адаптивной пластичной масштабируемой электроники).
Сложно сказать, какой именно проект нейроморфной системы типа II можно считать первым. В конце концов своё применение в технике нашли и триггеры Шмитта, да и контуры памяти первых ЭВМ, как мы знаем из «Первого проекта отчёта об EDVAC», создавались под влиянием исследований Мак-Каллока и Питтса. Как мы уже заметили ранее, граница, разделяющая нейроморфные системы и классические, во многом размыта. Если за неё принять использование импульсных нейронных сетей в качестве математической модели, лежащей в основе вычислительного устройства, то отсчёт, видимо, следует начать с американо-польского проекта Бялко, Ньюкомба и Деклариса. Эта практика создания устройств на основе импульсных нейронных сетей получила своё развитие в 1980-е гг. Например, ряд публикаций конца 1980-х — начала 1990-х гг. за авторством классика нейроморфной инженерии Алана Мюррея и его коллег описывает создание импульсных нейронных сетей на основе СБИС.
Продолжал работу в этой области и Ньюкомб. Например, в 1992 г. в его статье[1], написанной в соавторстве с Гью Муном и Моной Заглул, описывается СБИС-реализация синаптических весов и суммирования в импульсных нейронах. Одним из важных этапов работы группы Ньюкомба стала публикация в 1994 г. книги[2] под названием «Исполнение импульсно связанных нейронных сетей в кремнии» (Silicon Implementation of Pulse Coded Neural Networks). Исследования Ньюкомба и его коллег заложили фундамент для будущих инженерных проектов нейроморфных вычислений.
В 1990-е и начале 2000-х гг. свет увидело немало работ, в которых рассматривалось создание экспериментальных нейроморфных микросхем, в том числе предназначенных для решения прикладных задач. Например, в статье Ясухиро Оты и Богдана Виламовски, опубликованной в 2000 г.[3], предлагается CMOS‑архитектура синхронной импульсной нейронной сети и рассматривается её применение в обработке изображений. Аппаратная конструкция была основана на модели нейрона «интегрировать-и-сработать» с утечками и обеспечивала динамическое связывание синапсов. Впрочем, размеры сетей, реализуемых нейроморфными микросхемами в 1990-е и в начале 2000-х гг., были довольно скромными, а сами микросхемы если и доводились до стадии выполнения «в кремнии», то выпускались обычно крайне малыми сериями, а то и в единичных экземплярах.
Конечно, очень круто изготовить нейроморфный чип[4], симулирующий работу верхнего двухолмия (Superior colliculus) мозга амбарной совы (сипуха обыкновенная, Tyto alba), но хочется всё-таки увидеть подобный процессор встроенным в какое-нибудь пользовательское устройство, хотя бы в электронный глобус.
Старт программы SyNAPSE в 2008 г. подстегнул новую волну интереса к нейроморфной инженерии. Основными получателями финансирования от DARPA стали HRL Laboratories, IBM и Hewlett-Packard. От IBM исследовательскую группу возглавил Дхармендра Модха, от HRL — Нарьян Шриниваса, от HP — Грегори Снайдер. Компании, в свою очередь, привлекли в качестве субподрядчиков ряд ведущих американских университетов.
- ↑ Moon G., Zaghloul M. E., Newcomb R. W. (1992). VLSI implementation of synaptic weighting and summing in pulse coded neural-type cells / IEEE Transactions on Neural Networks, Vol. 3, Iss. 3 // https://doi.org/10.1109/72.129412
- ↑ Zaghloul M., Meador J. L., Newcomb R. W. (1994). Silicon Implementation of Pulse Coded Neural Networks. Volume 266 of The Springer International Series in Engineering and Computer Science. Springer US // https://books.google.ru/books?id=MqdQAAAAMAAJ
- ↑ Ota Y., Wilamowski B. W. (2000). CMOS Architecture of Synchronous Pulse-Coupled Neural Network / 26th Annual Confjerence of the IEEE, Vol. 2 // https://doi.org/10.1109/IECON.2000.972295
- ↑ Huo J., Murray A., Wei D. (2012). Adaptive Visual and Auditory Map Alignment in Barn Owl Superior Colliculus and Its Neuromorphic Implementation / IEEE Transactions on Neural Networks and Learning Systems, Vol. 23, No. 9, pp. 1486—1497 // https://doi.org/10.1109/TNNLS.2012.2204771