6.2.4 Распознание образов: кое-что ещё
И в небе, и в земле сокрыто больше,
Чем снится вашей мудрости, Горацио.
Уильям Шекспир. Гамлет[1]
Конечно, задачи в области распознавания образов могут возникать в отношении любых разновидностей данных, и совсем не обязательно эти данные должны быть результатом оцифровки изображений или звука.
В науке нейронные сети позволили добиться прогресса в решении задач газогидродинамики; они успешно применяются, например, при работе с усреднёнными по Рейнольдсу уравнениями турбулентности Навье — Стокса (Reynolds-averaged Navier–Stokes, RANS), позволяя повысить производительность вычислений[2], [3].
Свёрточные нейронные сети неплохо показали себя при решении задачи о поиске быстрых радиовсплесков (Fast Radio Bursts, FRB), успешно обнаружив нужные закономерности в данных, собранных радиотелескопами[4].
Нейронные сети неплохо показали себя в биохимии — например в предсказании свойств сложных соединений по их структурным формулам[5].
В медицине глубокие нейронные сети применяются для поиска аномалий в электрокардиографических данных[6], а также при анализе данных электроэнцефалографии[7]. Автоматизация обработки сигналов медицинских датчиков привела к созданию множества носимых устройств [wearables] для спортивных и медицинских целей. Анализируя данные с гироскопов и акселерометров носимых устройств, нейронные сети могут распознавать различные виды человеческой активности (ходьбу, бег, подъём по ступеням, сон и т. д.) и даже прогнозировать ожидаемую продолжительность жизни (разумеется, с весьма заметной погрешностью)[8].
Несмотря на проблему размерности данных, в последние годы удалось успешно применить свёрточные нейронные сети не только для анализа статичных двумерных изображений, но также и для анализа видео и трёхмерных снимков (например, данных магнитно-резонансной томографии[9]).
В беспилотных автомобилях нейронные сети обрабатывают данные лидаров[10], [11].
Глубокие нейронные сети прекрасно справляются с поиском закономерностей в финансовых транзакциях. Например, при помощи вейбулловских временно-событийных рекуррентных нейронных сетей (Weibull Time To Event Recurrent Neural Network, WTTE-RNN) удаётся довольно точно предсказывать момент ухода клиента банка[12].
Нейронные сети применяют для анализа профилей[13] и поведения людей в социальных сетях[14]. При помощи некоторых трюков нейронные сети можно научить анализу графов[15] и даже построению рассуждений в символьных системах[16], то есть решению задач, традиционно являющихся прерогативой символьных моделей ИИ.
Многие задачи ИИ требуют совмещения данных, принадлежащих к различным модальностям. Например, системы распознавания речи могут использовать данные видеоканала, получая дополнительные данные за счёт наблюдения за губами говорящего[17]. А система, предназначенная для рекомендации блюд, может учитывать не только данные из рецепта, но и сведения о структуре вкусовых рецепторов человека[18]. В последнее время нейросети способны успешно конкурировать с людьми даже в распознавании запахов и описании их при помощи естественного языка[19]. Примеров таких мультимодальных задач в области ИИ довольно много.
В наши дни глубокие нейронные сети так популярны, что их используют даже там, где раньше никому бы в голову не пришло применить коннекционистскую модель. И нередко такие эксперименты приводят к успеху.
Многие применяемые сегодня системы представляют собой синтез символьных и коннекционистских подходов. Символьные методы часто применяются для преобразования данных в форму, удобную для подачи их в нейросетевую модель. В свою очередь, выход нейросетевой модели может служить входом для классических моделей, построенных на системах правил или методах поиска в деревьях и графах. Поэтому нередко коннекционистские модели не вытесняют классические методы, а, напротив, дают им второе рождение, как это произошло, например, с MCTS.
Специалисты активно исследуют гибридные модели, такие, например, как нейронные машины Тьюринга (Neural Turing Machine, NTM)[20] или дифференцируемые нейронные вычислители (Differentiable neural computers, DNC)[21]. В этих моделях нейросетевые контроллеры используются для работы с адресуемой памятью, что позволяет успешно находить алгоритмы обработки данных, недоступные пока традиционным рекуррентным нейросетевым архитектурам. Сегодня модели, подобные NTM и DMC, объединены в большой класс, получивший название MANN (Memory-Augmented Neural Networks, Нейронные сети, дополненные памятью)[22].
Уследить за всеми успехами коннекционистских моделей в настоящее время практически невозможно — столь обширна лавина публикаций по этой тематике. Вы можете самостоятельно поиграть в игру, добавляя к названию какой-либо задачи слова neural network и выполняя соответствующие запросы в поисковом сервисе: cookies recipe neural network; detect a pig neural network; predict when you last shaved neural network. Если результат поиска вас не удовлетворит, возможно, настало время задуматься о собственном стартапе.
- ↑ * Пер. М. Лозинского.
- ↑ Pandya D. A., Dennis B. H., Russell R. D. (2017). A computational fluid dynamics based artificial neural network model to predict solid particle erosion / Wear, Vol. 378—379, 15 May 2017, pp. 198—210 // https://doi.org/10.1016/j.wear.2017.02.028
- ↑ Kutz J. N. (2017). Deep learning in fluid dynamics / Journal of Fluid Mechanics, Vol. 814, 10 March 2017, pp. 1—4 // https://doi.org/10.1017/jfm.2016.803
- ↑ Zhang Y. G., Gajjar V., Foster G., Siemion A., Cordes J., Law C., Wang Y. (2018). Fast Radio Burst Pulse Detection and Periodicity: A Machine Learning Approach / The Astrophysical Journal, Vol. 866, No. 2 // https://doi.org/10.3847%2F1538-4357%2Faadf31
- ↑ Wei J. N., Duvenaud D., Aspuru-Guzik A. (2016). Neural Networks for the Prediction of Organic Chemistry Reactions / ACS Central Science, October 14, 2016, 2, 10, 725—732 // https://doi.org/10.1021/acscentsci.6b00219
- ↑ Rajpurkar P., Hannun A. Y., Haghpanahi M., Bourn C., Ng A. Y. (2017). Cardiologist-Level Arrhythmia Detection with Convolutional Neural Networks // https://arxiv.org/abs/1707.01836
- ↑ Schirrmeister R. T., Springenberg J. T., Fiederer L. D. J., Glasstetter M., Eggensperger K., Tangermann M., Hutter F., Burgard W., Ball T. (2017). Deep learning with convolutional neural networks for EEG decoding and visualization / Human Brain Mapping, Vol. 38, Iss. 11, November 2017, pp. 5391—5420 // https://doi.org/10.1002/hbm.23730
- ↑ Pyrkov T. V., Slipensky K., Barg M., Kondrashin A., Zhurov B., Zenin A., Pyatnitskiy M., Menshikov L., Markov S., Fedichev P. O. (2018). Extracting biological age from biomedical data via deep learning: too much of a good thing? / Scientific Reports, Vol. 8, Article num.: 5210 (2018) // https://doi.org/10.1038/s41598-018-23534-9
- ↑ Lin W., Tong T, Gao Q., Guo D., Du X., Yang Y., Guo G., Xiao M., Du M., Qu X. (2018). Convolutional Neural Networks-Based MRI Image Analysis for the Alzheimer’s Disease Prediction From Mild Cognitive Impairment / Frontiers in Neuroscience, 05 November 2018 // https://doi.org/10.3389/fnins.2018.00777
- ↑ * Лидар (LIDAR, Light Detection and Ranging, обнаружение и определение дальности с помощью света) — технология измерения расстояний путём излучения света (лазер) и замера времени возвращения этого отражённого света на ресивер.
- ↑ Velas M., Spanel M., Hradis M., Herout A. (2018). CNN for very fast ground segmentation in velodyne LiDAR data / 2018 IEEE International Conference on Autonomous Robot Systems and Competitions (ICARSC), Torres Vedras, 2018, pp. 97—103 // https://doi.org/10.1109/ICARSC.2018.8374167
- ↑ Martinsson E. (2017). WTTE-RNN: Weibull Time To Event Recurrent Neural Network. A model for sequential prediction of time-to-event in the case of discrete or continuous censored data, recurrent events or time-varying covariates. Master’s thesis in Engineering Mathematics & Computational Science // http://publications.lib.chalmers.se/records/fulltext/253611/253611.pdf
- ↑ Rebedea T. (2017). Deep Neural Networks for Matching Online Social Networking Profiles / Conference on Computational Collective Intelligence Technologies and Applications // https://doi.org/10.1007/978-3-319-67074-4_19
- ↑ Tan Q., Liu N., Hu X. (2019). Deep Representation Learning for Social Network Analysis / Frontiers in Big Data, 03 April 2019 // https://doi.org/10.3389/fdata.2019.00002
- ↑ Hamilton W. L, Ying R., Leskovec J. (2017). Representation Learning on Graphs: Methods and Applications / IEEE Data Engineering Bulletin // https://arxiv.org/abs/1709.05584
- ↑ Lample G., Charton F. (2019). Deep Learning for Symbolic Mathematics // https://arxiv.org/abs/1912.01412
- ↑ Palaskar S., Sanabria R., Metze F. (2018). End-to-End Multimodal Speech Recognition // https://arxiv.org/abs/1804.09713
- ↑ Nag N., Bharadwaj A., Rao A. N., Kulhalli A., Mehta K. S., Bhattacharya N., Ramkumar P., Sitaram D., Jain R. (2019). Flavour Enhanced Food Recommendation // https://arxiv.org/abs/1904.05331
- ↑ Lee B. K., Mayhew E. J., Sanchez-Lengeling B., Wei J. N., Qian W. W., Little K. A., Andres M., Nguyen B. B., Moloy T., Yasonik J., Parker J. K., Gerkin R. C., Mainland J. D., Wiltschko A. B. (2023). A principal odor map unifies diverse tasks in olfactory perception / Science, Vol. 381, pp. 999-1006 // https://doi.org/10.1126/science.ade4401
- ↑ Graves A., Wayne G., Danihelka I. (2014). Neural Turing Machines // https://arxiv.org/abs/1410.5401
- ↑ Graves A., Wayne G., Reynolds M., Harley T., Danihelka I., Grabska-Barwińska A., Colmenarejo S. G., Grefenstette E., Ramalho T., Agapiou J., Badia A. P., Hermann K. M., Zwols Y., Ostrovski G., Cain A., King H., Summerfield C., Blunsom P., Kavukcuoglu K., Hassabis D. (2016). Hybrid computing using a neural network with dynamic external memory / Nature, Vol. 538, pp. 471—476 (2016) // https://doi.org/10.1038/nature20101
- ↑ Collier M., Beel J. (2019). Memory-Augmented Neural Networks for Machine Translation // https://arxiv.org/abs/1909.08314