Просмотр кода страницы 5.2.5.3 Сети с долгой краткосрочной памятью (LSTM) и другие модели

<span id="сети-с-долгой-краткосрочной-памятью-lstm-и-другие-модели"></span>

Решительный шаг вперёд в области рекуррентных нейронных сетей удалось сделать в 1997 г., когда Юрген Шмидхубер и Зепп Хохрайтер предложили<ref>Hochreiter S., Schmidhuber J. (1997). Long short-term memory / Neural Computation journal, 1997, Vol. 9, No. 8, pp. 1735—1780 // https://doi.org/10.1162/neco.1997.9.8.1735</ref> принципиально новую архитектуру, получившую весьма оригинальное название — «долгая краткосрочная память» (Long short-term memory, LSTM).

Сталкиваясь с памятью людей, можно заметить, что люди помнят только важные события, а многое старое и ненужное забывается. Можно представить, что было бы, если бы человек запоминал абсолютно всё. Например, такая ситуация описана в рассказе «Фунес, чудо памяти» (Funes el memorioso)<ref>Borges J. L. (1988). Funes el memorioso. Umbriel Libros // https://books.google.ru/books?id=hCYxuwEACAAJ</ref>, принадлежащем перу аргентинского писателя Хорхе Луиса Борхеса. Чтобы убить время, главный герой рассказа восстанавливает в своей памяти переживания целого дня, на что у него уходит также целый день. Фунес изобретает собственную систему счисления, где каждое число имеет своё название, например число 7030 получает имя «Максимо Перес», а 7040 — имя «поезд». Лирический герой автора пытается объяснить Фунесу, что такая система противоречит самой идее счёта, но Фунес не понимает его или не хочет понимать.

Действительно, способность к обобщению, к абстракции основывается на отвлечении от конкретных деталей, на их забвении. Избавившись от неважных деталей, мы можем находить аналогии, и именно они позволяют нам сложить 7030 и 7040, в то время как трудно представить себе операцию сложения «Максимо Переса» и «поезда». Поэтому возникает вполне резонный вопрос: нельзя ли реализовать в нейронных сетях такой механизм забывания, который позволял бы сети запоминать важные признаки последовательности, игнорируя не влияющие ни на что мелочи? Именно эта идея лежит в основе «долгой краткосрочной памяти» Шмидхубера и Хохрайтера.

Основой LSTM-сети являются так называемые LSTM-блоки (LSTM units). Такой блок представляет собой рекуррентный элемент сети, способный запоминать значения как на короткие, так и на длинные промежутки времени. Это достигается благодаря тому, что LSTM‑блок не использует функцию активации внутри своих рекуррентных компонентов, благодаря чему хранимое значение не размывается во времени и при использовании метода обратного распространения ошибки во времени градиент не исчезает.

Обычно LSTM-блоки содержат три вентиля [gate], предназначенных для управления потоками информации на входе, выходе и внутри блока. Эти вентили называются соответственно «входным» [input gate], «выходным» [output gate] и «вентилем забывания» [forget gate].

Основной функцией, выполняемой LSTM-блоком, является отслеживание зависимостей между элементами поступающей на вход последовательности. Входной вентиль определяет меру, в которой новые значения поступают в ячейку памяти [cell], вентиль забывания — меру, в которой значения сохраняются в ячейке от шага к шагу, а выходной вентиль отвечает за меру, в которой значения в ячейке используются для вычисления выходного значения. Обученный блок должен понимать, что именно и в какой мере стоит замечать, запоминать и использовать для ответа на каждом из шагов.

LSTM-блок может содержать несколько ячеек памяти, управляемых одними и теми же вентилями. К сожалению, в отношении терминологии в данном случае существует некоторая путаница<ref>user124589 (2016). Understanding LSTM units vs. cells / StackExchange. CrossValidated, Oct 23 '16 // https://stats.stackexchange.com/questions/241985/understanding-lstm-units-vs-cells</ref>, но мы будем придерживаться именно этих наименований — LSTM-блок для обозначения совокупности ячеек памяти и управляющих вентилей и LSTM-ячейка для обозначения одного скалярного компонента памяти LSTM-блока.

[[File:image194.jpeg|673x426px]]

Рис. 107. Схематическое изображение блока LSTM

Некоторые варианты LSTM-блоков могут не иметь одного или нескольких вентилей. Например, стробированные (или управляемые) рекуррентные блоки (gated recurrent units, GRU) не имеют выходного вентиля.

Это напомнило мне животрепещущий эпизод из книги Святослава Сахарнова «Путешествие на „Тригле“», которую я очень любил в детстве. В нём главный герой, молодой художник, решил примерить на себя роль исследователя веслоногих рачков. Острым кухонным ножом он соскоблил отфильтрованный планктон с марли и поместил его на приборное стекло микроскопа.

''Вот стекло под микроскопом. На светлом поле копошились прозрачные многорукие твари.''

''— Что это?!''

''Мои глаза полезли на лоб.''

''Прямо посередине светлого поля судорожно двигался по стеклу пятиногий рачок.''

''— Ого!''

''Я поперхнулся от радости.''

''А вон ещё… ещё… Шестиногие, четырёхногие, семиногие рачки так и кишели под микроскопом. Один из них был даже одноногий.''

''КАКОЕ ЗАМЕЧАТЕЛЬНОЕ ОТКРЫТИЕ!''

[[File:image195.jpeg|642x481px]]

Иногда мне кажется, что эксперименты, проводимые в целях создания новых разновидностей LSTM-блоков, напоминают вышеупомянутые художества, произведённые над ни в чём не повинными представителями зоопланктона при помощи острого кухонного ножа. После удаления различных вентилей выясняется, что наиболее важным является вентиль забывания. Без остальных вентилей LSTM-блок худо-бедно способен выполнять свои основные функции. Лишь после удаления вентиля забывания приходится констатировать: таракан оглох<ref><sup>*</sup> Один из вариантов этого анекдота: «''Некий студент решил поставить опыт. Поймал таракана, положил на стол и начал стучать по столу. Таракан убежал. Затем студент начал отрывать по одной лапке у таракана и обнаружил, что с каждым разом таракан реагирует на стук всё хуже. Потом, когда все лапки были оторваны, студент постучал по столу, но таракан никуда не убежал. В итоге студент сделал вывод, что таракан оглох''».</ref>.

[[File:image196.jpeg|576x425px]]

Рис. 108. Схематическое изображение блока GRU

По сравнению с простыми рекуррентными сетями LSTM-сети гораздо лучше приспособлены к ситуациям, когда важные события разделены временными лагами с неопределённой продолжительностью и границами. Неудивительно, что в начале нового тысячелетия они стали основой многих систем, предназначенных для обработки естественного языка, прогнозирования временных рядов, распознавания речи и решения других задач, связанных с обработкой последовательностей. Сегодня идеи, положенные в основу LSTM, получили развитие в новом поколении рекуррентных нейросетевых архитектур, к которому относятся, например, такие модели, как AWD-LSTM<ref>Merity S., Keskar N. S., Socher R. (2017). Regularizing and Optimizing LSTM Language Models // https://arxiv.org/abs/1708.02182</ref>, Mogrifier LSTM<ref>Melis G., Kočiský T., Blunsom P. (2019). Mogrifier LSTM // https://arxiv.org/abs/1909.01792</ref> и LEM<ref>Rusch T. K., Mishra S., Erichson N. B., Mahoney M. W. (2021). Long Expressive Memory for Sequence Modeling // https://arxiv.org/abs/2110.04744</ref>.

Конечно, на заре новой весны искусственного интеллекта арсенал коннекционистских инструментов не ограничивался упомянутыми выше моделями. Определённую популярность среди исследователей имели сети Кохонена, эхо-сети (Echo State Network, ESN), сети Хопфилда и модели на их основе — сети Коско, машина Больцмана (Boltzmann machine), а затем и ограниченная машина Больцмана (Restricted Boltzmann Machine, RBM), глубокие сети доверия (Deep Belief Networks, DBN) и даже машина Гельмгольца (Helmholtz machine).

Хотя сегодня редко используют машины Больцмана, Гельмгольца или DBN непосредственно, да и мало кто из специалистов-практиков в области глубокого обучения с ходу вспомнит особенности этих моделей, они сыграли в истории нейронных сетей важную роль, став предшественниками современных глубоких сетей-автокодировщиков, о которых мы поговорим в следующем разделе.
<references />
<comments />