6.2.2.4 Метрики оценки
При оценке качества распознавания речи используются различные метрики, но наиболее популярной на протяжении многих лет остаётся метрика под названием WER (Word Error Rate, доля ошибок на уровне слов). Иногда WER называется также «дистанцией редактирования, нормализованной на длину» [length normalized edit distance], поскольку представляет собой дистанцию Левенштейна (редакционное расстояние, дистанцию редактирования) на уровне слов между правильным текстом и текстом на выходе системы распознавания, делённую на длину правильного текста (в словах).
Дистанция Левенштейна получила имя в честь советского и российского математика Владимира Левенштейна, который ввёл эту метрику в 1965 г. под названием «дистанция редактирования». Дистанцией редактирования между двумя последовательностями A и B называется минимальное количество вставок, удалений и замен элементов последовательности (например, символов или, как в нашем случае, слов), которые нужно произвести в A для того, чтобы получить B. Например, чтобы получить из предложения МАМА МЫЛА РАМУ предложение МАМА МЫЛА МАМУ, нужно заменить одно слово (РАМУ — МАМУ), следовательно, дистанция редактирования между этими двумя предложениями составляет 1. Чтобы сделать из фразы СЛОНЫ ИДУТ НА СЕВЕР фразу СЛОНЫ МАШУТ УШАМИ нужно произвести три правки (ИДУТ заменить на МАШУТ, НА заменить на УШАМИ, а СЕВЕР удалить), стало быть, дистанция Левенштейна (на уровне слов) между этими двумя фразами составит 3.
Для того чтобы вычислить WER, необходимо поделить дистанцию Левенштейна на количество слов в правильной версии распознаваемой фразы. Если система распознавания речи приняла фразу МАМА МЫЛА РАМУ за МАМА МЫЛА МАМУ, то WER = 1/3 ≈ 33%. Если при распознавании фразы СЛОНЫ ИДУТ НА СЕВЕР система распознавания расслышала в ней СЛОНЫ МАШУТ УШАМИ, то WER = 3/4 = 75%. Если дистанцию редактирования и длину оригинальной фразы считать на уровне букв, а не на уровне слов, то получившаяся в итоге метрика будет называться CER (Character Error Rate, доля ошибок на уровне символов). Если же расчёт выполнять на уровне целых предложений, то получится метрика SER (Sentence Error Rate, доля ошибок на уровне предложений).
Существует альтернативная методика расчёта WER, при которой вставки и удаления, в отличие от замены, засчитывают не за целую, а за половину ошибки. Эта версия была предложена[1] в 1990 г. Мелвином Хантом, однако в наши дни под WER обычно понимают оригинальную метрику. Более тонкий подход к оценке качества распознавания может быть получен путём разделения замен на грубые и негрубые, такая перевзвешенная метрика называется IWER (Inflected WER, склоняемый WER), поскольку предназначена прежде всего для того, чтобы снизить штраф за некритичные ошибки в окончаниях слов.
- ↑ Hunt M. J. (1990). Figures of Merit for Assessing Connected Word Recognisers / Speech Communication, Vol. 9, 1990, pp. 239—336 // https://doi.org/10.1016/0167-6393(90)90008-WGet