Просмотр кода страницы 1.3.2 Задачи, решаемые с помощью машинного обучения

<span id="задачи-решаемые-с-помощью-машинного-обучения"></span>

Среди задач, решаемых при помощи методов машинного обучения, выделяют несколько крупных категорий.

# '''Задачи классификации.''' Цель модели в них — отнесение объекта на основании его известных свойств к некоторым группам (''классам''). Иногда классы называют образами, в таком случае говорят о задачах распознавания образов<ref>Воронцов К. В. Математические методы обучения по прецедентам (теория обучения машин) // http://www.machinelearning.ru/wiki/images/6/6d/Voron-ML-1.pdf</ref>. Именно к этому типу относится задача различения кошек и собак на фото. В данном случае «кошка» и «собака» — это два разных класса, а известные свойства, или ''факторы, модели'' — это цвет каждой из точек на фотографии. Например, если мы имеем дело с чёрно-белыми фотографиями разрешением 1024 × 1024 точки, то всего у нас будет 1 048 576 входных факторов модели (цвет каждой точки будет представлен числом, характеризующим степень её яркости). При решении задачи классификации модель (в данном случае её называют ''классификатором''), обучившись на некотором наборе объектов, должна будет уметь отнести к тому или иному классу в том числе и новые объекты, которых в обучающей выборке не было. Потому что классификаторы, просто запоминающие всё, что им предъявили, и неспособные сделать вывод в отношении чего-то отсутствующего в обучающей выборке, нам обычно не очень интересны.

<blockquote>[[File:image15.png|697x953px]]
</blockquote>
Рис. 4. Примеры решения задачи классификации для изображений. Модель посчитала, что первое изображение со степенью уверенности в 95% принадлежит к следующим классам: «кот» (cat), «животное семейства кошачьих» (feline), «хищник» (carnivore), «млекопитающее» (mammal), «животное» (animal). Далее следуют классы с меньшей степенью уверенности модели: «кошечка» (kitty-cat) — 58%, «домашняя кошка» (domestic cat) — 63%, «бумажный пакет» (paper bag) — 50%, «сумка» (bag) — 50%. Потом идут ещё два класса: «угольно-чёрный цвет» (coal black color) — 89% и «серый цвет» (gray color) — 80%. Для второго изображения модель полагает, что это, скорее всего, «животное» (animal) — 97%, «домашнее животное» (domestic animal), «собака» (dog) — 92%, «сторожевая собака» (watchdog), «собака породы кувас» (kuvasz dog) — 83%. С меньшей степенью уверенности модель предполагает, что это «белый медведь» (ice bear) — 64% или «медведь» (bear) — 68% и т. д.

<ol start="2" style="list-style-type: decimal;">
<li><p>'''Задачи [восстановления] регрессии.''' Данные задачи в целом похожи на задачи классификации, но в них мы имеем дело не с множеством классов, к которым хотим отнести экзаменуемый объект, а с некоторой непрерывной величиной, которую желаем оценить на основании входных факторов. Простой пример — модель, пытающаяся определить возраст человека по фотографии. Любую задачу классификации можно свести к задаче регрессии, если взять в качестве прогнозируемой величины вероятность принадлежности объекта к каждому из классов.</p></li></ol>

Понятие регрессии ввёл в 1886 г. антрополог Фрэнсис Гальтон, изучавший статистические закономерности наследственности. В рамках разработанного им антропометрического подхода учёный измерял у своих соотечественников множество параметров: размеры головы, рост, возвышение над стулом при сидении, размах рук, объём вдыхаемого воздуха, массу тела, время реакции на зрительные и звуковые раздражители — и даже оценивал степень привлекательности девушек. На Международной выставке здоровья, открывшейся в 1884 г. в Лондоне, в антропометрической лаборатории Гальтона было проведено 150 000 отдельных измерений для 10 000 человек. Данные, собранные учёным, среди прочего содержали сведения о 928 потомках 205 матерей и отцов. Изобразив данные на графике, Гальтон обнаружил вполне ожидаемую положительную ассоциацию между ростом родителей и их детей, однако заметил, что дети наиболее высоких родителей имели тенденцию уступать своим родителям в росте, в то время как для наиболее низких родителей наблюдалась обратная зависимость: их дети обычно превосходили родителей ростом. Полученные данные повторяли результаты серии экспериментов 1876 г., в которых Гальтон изучал диаметр горошин; наиболее крупные горошины давали обычно более мелких, чем они сами, потомков, а наиболее мелкие — более крупных<ref>The measurement of man // http://www.galtoninstitute.org.uk/sir-francis-galton/psychology-statistics-criminology/</ref>. Гальтон назвал этот феномен «регрессией к среднему» и ввёл понятие «степень регрессии» (сегодня обычно её называют ''коэффициентом регрессии'')<ref>Galton F. (1886). Regression Towards Mediocrity in Hereditary Stature. The Journal of the Anthropological Institute of Great Britain and Ireland, Vol. 15, pp. 246—263 // http://www.jstor.org/stable/2841583</ref>. Позже термин, возникший в частной прикладной задаче, закрепился за широким классом методов восстановления зависимостей<ref>Воронцов К. В. Математические методы обучения по прецедентам (теория обучения машин) // http://www.machinelearning.ru/wiki/images/6/6d/Voron-ML-1.pdf</ref>.

<blockquote>[[File:image16.png|126x126px]] [[File:image17.png|149x127px]] [[File:image18.png|189x126px]]

[[File:image19.png|226x126px]] [[File:image20.png|241x125px]]
</blockquote>
Рис. 5. Примеры решения задачи регрессии для изображений (определение возраста)

[[File:image21.jpeg|697x555px]]

Рис. 6. Показатель регрессии в наследовании роста

<ol start="3" style="list-style-type: decimal;">
<li><p>'''Задачи преобразования последовательностей, или, как их принято называть, seq2seq-задачи''' (от ''sequence to sequence'' — «последовательность в последовательность»)<ref><p>Luong M.-T., Brevdo E., Zhao R. (2017). Neural Machine Translation (seq2seq) Tutorial // https://web.archive.org/web/20171123080802/https://www.tensorflow.org/tutorials/seq2seq</p></ref>. Модель получает на вход некоторую последовательность и должна выдать также некоторую последовательность, соответствующую входной. Простой пример — задача перевода текста с одного языка на другой. В данном случае входная последовательность — это текст, написанный на одном языке, выходная — перевод входного текста на другой язык. Другой пример — задача распознавания речи, при которой на вход модели подаётся последовательность звуковых амплитуд, а на выходе получается текстовая расшифровка речи. Задачи регрессии и классификации тоже можно представить в виде задачи преобразования последовательности в последовательность. В этом случае входная последовательность будет содержать значения входных факторов (или весь набор значений факторов в виде единственного элемента-вектора), а выходная будет состоять из одного элемента — метки класса или значения регрессии. Этот пример показывает некоторую условность выделения категорий задач машинного обучения. Когда мы относим ту или иную задачу к категории seq2seq, то обычно хотим тем самым подчеркнуть, что входные и выходные данные модели могут иметь переменную размерность. Если же, например, на входе нашей модели последовательность переменной длины, а на выходе — метка класса, то такая задача будет скорее отнесена к задачам ''классификации последовательностей'' (sequence classification)<ref><p>См., напр.: Xing Z., Pei J., Keogh E. (2010). A Brief Survey on Sequence Classification / SIGKDD Explorations, Vol. 12, pp. 40—48 // https://doi.org/10.1145/1882471.1882478</p></ref>. Примером такой задачи может быть выявление языка, на котором написан некоторый текст переменной длины. Аналогичным образом говорят о ''регрессии последовательностей'' (sequence regression)<ref><p>См., напр.: Gsponer S., Smyth B., Ifrim G. (2017). Efficient sequence regression by learning linear models in all-subsequence space / Ceci M., Hollmén J., Todorovski L., Vens C., Džeroski S. (2017). Machine Learning and Knowledge Discovery in Databases. Springer International Publishing.</p></ref>, в случаях когда на входе модели — последовательность, а на выходе — некоторая величина, например на входе — текст комментария в Facebook, а на выходе — предполагаемый возраст его автора.</p></li></ol>

[[File:image22.png|697x179px]]

<ol start="4" style="list-style-type: decimal;">
<li><p>Также важными разновидностями задач машинного обучения являются '''задачи сокращения размерности''' (dimensionality reduction)<ref><p>Roweis S. T., Saul L. K. (2000). Nonlinear Dimensionality Reduction by Locally Linear Embedding / Science, Vol. 290, Iss. 5500, pp. 2323—2326 // https://doi.org/10.1126/science.290.5500.2323</p></ref> и '''задачи генерации (порождения) данных'''<ref><p>Bishop C. M., Lasserre J. (2007). Generative or discriminative? Getting the best of both worlds / Bayesian Statistics, Vol. 8, Iss. 3, p. 24.</p></ref>. Представим себе свидетеля преступления, который описывает внешность преступника словами: сообщает цвет глаз, рассказывает о причёске, форме носа и глаз, наличии или отсутствии усов, бороды, воспроизводит другие особенности внешности, называет пол преступника, его ориентировочные рост и возраст. Такой набор свойств обычно называют признаками или фичами (от англ. ''features'') объекта. Весь этот набор значений признаков куда более компактен, чем фото преступника, составленное из миллионов пикселей<ref><p><sup>*</sup> Пиксель (от англ. сокращения от ''pictures element'') — наименьший элемент двумерного цифрового изображения.</p></ref>. В данном случае мозг свидетеля выполняет роль модели, решающей задачу сокращения размерности входных данных. Художник же, который рисует портрет преступника по словесному описанию внешности, в данном случае выполняет роль генеративной модели, то есть такой модели, которая порождает в ходе своей работы новые данные (в нашем случае путём домысливания всех мельчайших деталей портрета). Модели машинного обучения, сочиняющие музыку, пишущие тексты или создающие изображения по заданию, также являются генеративными моделями.</p></li></ol>

Пары моделей, использующих одно и то же компактное представление данных, одна из которых преобразует данные в их компактное представление, а вторая — пытается по этому компактному представлению восстановить исходные данные, называют соответственно ''кодировщиком'' (encoder) и ''декодером'' (decoder).

[[File:image23.png|696x393px]]
<references />
‎<comments />