Просмотр кода страницы 6.3.3.2 Языковые модели и работа Бенджио

<span id="языковые-модели-и-работа-бенджио"></span>

Под [статистическими] языковыми моделями обычно понимают модели, предназначенные для поиска приближений совместного распределения вероятностей для последовательностей слов (или символов) естественного языка. Проще говоря, языковая модель обычно способна ответить на вопрос, какова вероятность встретить в некотором тексте на естественном языке определённую последовательность символов (или слов). Например, какова вероятность в случайно взятой книге после слов «как хороши, как свежи были» встретить, например, слова «розы», «штампы» или, скажем, «фтагн». Мы уже встречались с языковыми моделями в разделе, посвящённом распознаванию речи. Задача определения вероятности следующего слова в последовательности слов ничем существенно не отличается от задачи определения того факта, что некоторое предложение является ругательным. В обоих случаях мы имеем дело с задачей классификации, только в случае с ругательствами у нас всего два класса («ругательства» и «не ругательства»), а в случае предсказания следующего слова число классов равно размеру используемого словаря.

В начале 2000-х гг. стандартный подход к моделированию языка был основан на ''n''‑граммах. Например, мы можем подсчитать, сколько раз в обучающем корпусе встречались триграммы «свежи были розы», «свежи были штампы», «свежи были фтагн» и так далее для каждого слова-кандидата. Теперь в качестве прогноза вероятности слова «розы» вслед за словами «свежи были» мы можем использовать отношение числа вхождений в обучающий корпус триграммы «свежи были розы» к суммарному числу вхождений в него триграмм, начинающихся на «свежи были». Однако у этого подхода есть несколько серьёзных недостатков.

Во-первых, какую длину ''n''-граммы выбрать? При уменьшении ''n'' предсказательная сила модели быстро падает. Действительно, в нашем корпусе (конечно, если он включал в себя соответствующую цитату из Мятлева, вынесенную Тургеневым в название одного из своих стихотворений в прозе) слова «как хороши, как свежи были» в большинстве случаев продолжались именно «розами». Чего не скажешь об одиночном слове «были». После «были» нередко встречается «на», «в» и так далее, причём куда чаще, чем «розы». С другой стороны, при увеличении ''n'' наша выборка ''n''-грамм быстро становится нерепрезентативной. Мы всё чаще попадаем в ситуацию, когда число ''n''-грамм, совпадающих с текущим контекстом (т. е. с предшествующими словами, которые мы стремимся продолжить), крайне мало, а иногда и вовсе равно 0. И что вообще значит, что слова «свежи были» в обучающем корпусе никогда не продолжались словом «фтагн»? Значит ли это, что вероятность такого продолжения равна 0? Возможно, до выхода в свет моей книги такое продолжение в литературе действительно не встречалось, но ведь теперь ситуация изменилась! Значит, вероятность всё-таки не была нулевой. С проблемами подобного рода боролись обычно, создавая комбинированные модели, например, из униграмм, биграмм и триграмм, используя в качестве прогноза модели взвешенную сумму их прогнозов. Вместо нулевой вероятности можно использовать некоторую крайне малую, но ненулевую величину либо применить какой-то иной способ сглаживания модели.

Во-вторых, с увеличением ''n'' быстро растут требования к объёму используемой памяти. Действительно, в какой-то момент размер оперативной памяти для хранения статистики ''n''‑грамм становится недостаточным. Конечно, эту статистику можно пересчитывать на лету, но для этого потребуется в момент расчёта вероятностей заново анализировать весь обучающий корпус, что чаще всего неприемлемо из-за ограничений по времени. Поэтому в начале 2000‑х гг. обычно использовались модели, в которых самыми длинными были триграммы.

В-третьих, ''n''-граммные модели ничего не знают о похожести слов и вообще об их семантике. Например, если в обучающем корпусе встречается фраза «Петя щёлкнул Васю по», продолжением которой является слово «лбу», то это никак не поможет модели понять, что последовательность «Вася щёлкнул Петю по» также с большой вероятностью будет продолжена тем же самым словом. Для модели «Вася» и «Петя» — это не имена мальчиков, а просто два разных слова. Несложно заметить, что трудности ''n''-граммных моделей аналогичны трудностям моделей, использующих в качестве текстовых представлений мешки слов и one-hot-векторы.

Эти недостатки ''n''-граммных моделей не нашли удовлетворительного решения.

Требовался новый подход, и в 2003 г. свет увидела важная работа Йошуа Бенджио и его коллег под названием «Нейронная вероятностная языковая модель» (A Neural Probabilistic Language Model)<ref>Bengio Y., Ducharme R., Vincent P., Jauvin C. (2003). A Neural Probabilistic Language Model / Journal of Machine Learning Research, Vol. 3 (2003), pp. 1137—1155 // http://www.jmlr.org/papers/volume3/bengio03a/bengio03a.pdf</ref>. Изложенная в ней идея заключалась в том, чтобы вместо one-hot-векторов использовать векторы признаков [feature vectors], обладающие меньшей размерностью и представляющие собой наборы вещественных параметров (своих для каждого слова), значения которых можно было бы получить в процессе обучения модели. Бенджио экспериментировал с векторами размерностью 30, 60 и 100 при размере словаря около 16 000–18 000 слов (в зависимости от корпуса). В зависимости от настроек сеть Бенджио принимала на вход соединение (конкатенацию) векторов, соответствующих трём, четырём или пяти предыдущим словам (т. е. при размерности вектора признаков, равной 100, и длине контекста, равной 4, на вход сети подавалось 4 × 100 = 400 вещественных чисел), и представляла собой полносвязный перцептрон — в большинстве экспериментов с одним промежуточным слоем, в котором могло быть 50 или 100 нейронов.

Реализацию идеи Бенджио можно представить как добавление ко входу сети нескольких идентичных нейронных сетей (по одной для каждого из слов контекста). Каждая из этих сетей состоит из двух слоёв нейронов и преобразовывает one-hot-векторы, соответствующие словам, в векторы признаков. Все нейроны её первого слоя (получающего на вход one-hot-векторы) связаны со всеми нейронами второго слоя (выходы которого и составляют векторы признаков). Такое соединение часто называют проекцией [projection].

Число параметров такой сети равно произведению числа слов в словаре и размерности вектора признаков. Таким образом, при 16 000 слов в словаре и размерности вектора признаков 100 число параметров будет равно 16 000 × 100 = 1 600 000. Поскольку сети, применяемые к каждому из слов, идентичны (т. е. содержат копии одного и того же набора весов), увеличение длины контекста никак не влияет на число параметров модели. Если бы вместо такого набора сетей мы использовали полносвязный слой, то число параметров в нём было бы при длине контекста 4 равно (4 × 16 000) × (4 × 100), то есть в 16 раз больше, чем в модели Бенджио.

Слой, образуемый описанными выше сетями, добавленными ко входу сети Бенджио, в наши дни носит название «слой словарного вложения» [word embedding layer], впрочем, специалисты по машинному обучению называют его обычно «словарным эмбеддингом» или попросту «эмбеддингом» (также термином «эмбеддинг» или «векторы эмбеддинга» часто обозначаются и сами встраиваемые векторы).

Несложно углядеть здесь аналогию со слоем свёртки в свёрточных нейронных сетях — в нём каждая из операций свёртки также осуществляется при помощи одного и того же набора весов.

Бенджио не был первым исследователем, предложившим использовать векторные представления слов естественного языка. Почти за полвека до него этот подход начал применяться для решения задач в области поиска информации и тематического моделирования, например в рамках так называемого латентно-семантического анализа (Latent semantic analysis, LSA) — метода обработки информации на естественном языке, анализирующего взаимосвязь между библиотекой документов и встречающимися в них терминами. Различные идеи по решению задач в области обработки текстов на естественном языке, в том числе для построения языковых моделей, выдвигались в 1980-е и 1990-е гг. многими ведущими коннекционистскими исследователями, в том числе Шмидхубером, Элманом и Хинтоном. Но в работе Бенджио и его коллег идея словарных эмбеддингов приобрела именно ту форму, в которой она стала основой первой революции в NLP в начале 2010-х гг. Интересно, что разработанная авторами исследования модель стала также одним из первых примеров сетей с перепрыгивающими связями: в одном из рассмотренных вариантов была архитектура с набором связей, напрямую соединяющих слой векторов признаков с выходом сети.

Впрочем, для осуществления решительного прорыва понадобилось ещё десятилетие исследований. Дело в том, что в модели Бенджио векторы признаков выучивались моделью одновременно с остальными слоями сети, из-за чего само обучение модели было связано со значительными вычислительными затратами (потом исследователи использовали общедоступные библиотеки векторов признаков, построенные на базе анализа больших объёмов текстов, но в 2003 г. такой возможности не существовало). В 2003 г. Бенджио и его коллегам пришлось создать специальную параллельную архитектуру для того, чтобы провести эксперименты с такими сравнительно небольшими текстовыми корпусами, как корпус Брауна (Brown Corpus)<ref>Francis W. N., Kucera H. (1979). Brown corpus manual. Manual of information to accompany a standard corpus of present-day edited American English, for use with digital computers // http://korpus.uib.no/icame/brown/bcm.html</ref> из более миллиона слов и корпус APNews, состоявший из новостей агентства Associated Press за 1995 и 1996 гг. (почти 14 млн слов). Для сравнения: на 2 августа 2021 г. суммарный объём текстов англоязычной «Википедии» составлял свыше 3,9 млрд слов<ref>Wikipedia contributors. (2021, August 2). Size of Wikipedia. In Wikipedia, The Free Encyclopedia. Retrieved 08:00, August 2, 2021, from https://en.wikipedia.org/wiki/Wikipedia:Size_of_Wikipedia</ref>, то есть как минимум в 270 раз больше, чем самый большой корпус в экспериментах Бенджио и его коллег. При этом авторы исследования обучали модель на корпусе APNews в течение всего пяти эпох (эпохой обучения обычно называют последовательность шагов обучения, в ходе которой модели будут однократно предъявлены все прецеденты обучающей выборки), что потребовало более трёх недель обучения при использовании 40 CPU. На момент окончания эксперимента модель не демонстрировала никаких признаков переобучения, то есть Бенджио и его коллеги прервали обучение модели, так и не достигнув пределов её возможностей. Кроме того, авторы исследования использовали нейросетевую модель в составе ансамбля с классической ''n''-граммной моделью, то есть фактически учили модель не строить самостоятельный прогноз, а корректировать ошибки ''n''-граммной модели. В итоге авторам удалось на корпусе APNews улучшить результаты лучшей ''n''-граммной модели примерно на 8%. В то же время модель, обучавшаяся в течение двух десятков эпох на корпусе Брауна, смогла показать куда более солидное преимущество — примерно в 24%. Конечно, даже по меркам начала 2000-х гг. корпус Брауна вследствие своего скромного объёма изрядно устарел, в то время среди исследователей наибольшей популярностью пользовались ставшие классическими The Penn Treebank<ref>Marcus M. P., Santorini B., Marcinkiewicz M. A. (1993). Building a Large Annotated Corpus of English: The Penn Treebank / Computational Linguistics, Vol. 19, Iss. 2 // https://aclanthology.org/J93-2004/</ref> и British National Corpus<ref>BNC Consortium (2007). The British National Corpus, XML Edition. Oxford Text Archive // http://hdl.handle.net/20.500.12024/2554</ref><sup>,</sup> <ref>Burnard L. (2007). Reference Guide for the British National Corpus (XML Edition) // http://www.natcorp.ox.ac.uk/XMLedition/URG/</ref><sup>,</sup> <ref>BNC Consortium (2001). The British National Corpus, version 2 (BNC World) // http://www.natcorp.ox.ac.uk/</ref><sup>,</sup> <ref>Burnard L. (2000). The British National Corpus Users Reference Guide // http://www.natcorp.ox.ac.uk/docs/userManual/</ref>. Возможно, это было одной из причин, по которым работа Бенджио в 2003 г. не стала заметным событием в научном мире.

Интересно, что команда Бенджио использовала случайную инициализацию векторов признаков на старте обучения сети. Авторы работы предположили, что инициализация, основанная на некоторых априорных знаниях о языке, может улучшить результаты. Эта мысль несколько раз повторяется в тексте статьи, причём приводятся даже конкретные идеи по поводу возможных источников такой информации (например, данные из базы WordNet, грамматические признаки и т. д.). Однако авторы работы не пробовали использовать значения векторов, полученные в эксперименте с корпусом Брауна, как стартовые значения для эксперимента с корпусом APNews, то есть идея создания универсальных словарных эмбеддингов для решения широкого спектра задач в области обработки естественного языка на тот момент ещё не овладела умами исследователей.
<references />
<comments />