Психиатрия Психиатрия и психофармакотерапия им. П.Б. Ганнушкина
№04 2025

Artificial intelligence speech recognition in patients suffering from mild cognitive impairment and dementia 

A.V. Smolyaninova1, T.A. Pavlova2, I.V. Dorovskikh3, A.A. Karpov4, M.D. Dolgushin4, L.A. Krasnoslobodtseva3, 
Yu.V. Seiku3, D.Yu. Boldakov3  
1 Branch of GBUZ PKB №4 named after P.B. Gannushkin DZM "Psychoneurological dispensary №9", Russian Federation, Moscow, 105275, 8th Sokolinaya Gora str., 28
2 City Clinic Medical Center, Russian Federation, Moscow, 115054, Novokuznetsk str., 36/2c1 
3 N.I. Pirogov Russian National Research Medical University of the Ministry of Health of the Russian Federation, Russian Federation, Moscow, 117513, Ostrovityanova str., 1
4 St. Petersburg Federal Research Center of the Russian Academy of Sciences, Russian Federation, St. Petersburg, 199178, 14th line of Vasilievsky island str., 39

Abstract
This article is devoted to the urgent problem of early diagnosis of cognitive decline of varying severity by evaluating speech using machine learning methods using artificial intelligence. The works of foreign and domestic authors have shown that speech is an easily detectable signal that reflects the state of cognitive functions and can help diagnose cognitive impairments at an early stage. Nevertheless, these studies had a number of limitations: errors in speech recording, a complex algorithm for research, and the lack of a unified mathematical assessment model, which makes further research in this area relevant. 
Keywords: dementia; mild cognitive disorder; cognitive impairment; speech; artificial intelligence; machine learning.
For citation: A.V. Smolyaninova, T.A. Pavlova, I.V. Dorovskikh, A.A. Karpov, M.D. Dolgushin, L.A. Krasnoslobodtseva, Yu.V. Seiku, D.Yu. Boldakov. Artificial intelligence speech recognition in patients suffering from mild cognitive impairment and dementia. Psychiatry and psychopharmacotherapy. 2025; 4: 50–54. DOI: 10.62202/2075-1761-2025-27-4-50-54

Вступление

Деменция – распространенное нейродегенеративное расстройство с неблагоприятным прогнозом. Данное заболевание характеризуется хроническими прогрессирующими когнитивными нарушениями, сопровождающимися снижением бытовых навыков, трудовой и социальной дезадаптацией [17]. В условиях прогрессирующего старения населения число людей с деменцией быстро растет. Например, в Китае в настоящее время около 10 миллионов человек страдают деменцией, что влечет за собой большие социально-экономические проблемы. По данным различных исследований, к 2050 году заболеваемость данным расстройством будет составлять более 150 миллионов человек [13]. Бремя деменции несет значительную финансовую и социальную нагрузку на здравоохранение во всем мире [18].
В свою очередь, легкие когнитивные нарушения (ЛКН) являются стадией между нормальным физиологическим старением и деменцией, они могут медленно прогрессировать в течение 5-10 лет [28]. В настоящее время отсутствуют эффективные методы лечения деменции, что подчеркивает важность первичной профилактики [15]. ЛКН являются важным этапом для диагностики и превентивного лечения деменции. Следовательно, раннее выявление ЛКН, изучение их этиологии, определение факторов риска и поиск эффективных фармакологических и нефармакологических методов лечения – актуальная тема научных исследований [16, 30]. 
По данным российских исследований, по состоянию на 2019 год в России проживало 1 949 811 человек с деменцией различной этиологии. В то же время крупных эпидемиологических исследований деменции в Российской Федерации за последнее время не проводилось. В Москве распространенность деменции составляет 10,4%, а болезни Альцгеймера – 4,5% от общей численности населения пожилого и старческого возраста. Исследование амбулаторных пациентов в этой возрастной группе (в возрасте 60 лет и старше) показало высокую распространенность когнитивных нарушений как с деменцией – 7,8%, так и без нее (ЛКН) – 49,6% на приеме у врача общей практики. Проблема когнитивных нарушений, не достигающих деменции, крайне актуальна у людей предпенсионного возраста – распространенность ЛКН у пациентов 55-64 лет составляет 36,8-44,8% [3].
Существует потребность в экономически достоверных и легко выявляемых методах оценки когнитивных нарушений, начиная с самых легких форм до тяжелой деменции. Российские исследователи проводили оценку степени тяжести деменции с помощью методов машинного обучения, а именно анализ результатов электроэнцефалографии, пациентов, страдающих выраженным когнитивным снижением [1]. Однако большинство современных зарубежных исследованиях сконцентрированы на изучении речи пациентов с деменцией. Речь – это легко считываемый и экономичный в записи сигнал, который отражает состояние когнитивных функций и, следовательно, потенциально может служить их цифровым биомаркером, предоставляя уникальную возможность для применения компьютерных технологий оценки речи [11]. Исследования речи с помощью искусственного интеллекта (ИИ) с целью ранней диагностики и профилактики когнитивных нарушений полезны для автоматического выявления нейродегенеративных заболеваний и могут стать основой для их диагностики, что может существенно повлиять на качество жизни пациентов. 
Недавние исследования позволили использовать ИИ для разработки автоматизированных методов прогнозирования и обнаружения ЛКН. Большинство проведенных исследований основано на одномодальных данных (например, только на текстовых расшифровках записи или на основе акустических признаков звуков речи из аудиозаписей). Но недавние научные работы показали, что мультимодальность способствует более точному прогнозированию легких когнитивных расстройств. Однако использование различных модальностей по-прежнему является большой проблемой из-за отсутствия эффективных программных методов их объединения. В настоящей статье представлен обзор российских и зарубежных исследований, посвященных анализу речи пациентов с ЛКН и деменцией с помощью методов машинного обучения.

Обзор

В ряде зарубежных исследований проводился анализ речи у пациентов, страдающих когнитивными нарушениями. Когнитивные нарушения при болезни Альцгеймера (БА) могут проявляться в одной или нескольких из следующих когнитивных областей: внимание, исполнительные функции, память и способность к обучению, речь [4]. Деменция, вызванная БА, в первую очередь характеризуется значительным снижением кратковременной памяти [6], однако доказано, что речевые функции зачастую нарушаются раньше, чем другие когнитивные навыки [7-9, 29, 32]. В связи с этим возрастает интерес к разработке новых, более точных компьютерных технологий для изучения речи и языковых навыков пожилых людей, подверженных риску развития БА или с ранними клиническими проявлениями БА, известными как ЛКН [5, 19, 31].
Наиболее распространенные инструменты оценки речи и языковых навыков, как правило, являются обобщенными и не позволяют выявить специфические различия между пожилыми людьми с нормальными когнитивными способностями, пациентами с ЛКН и деменцией. Современные компьютерные технологии оценки речи и языковых навыков пожилых людей позволяют выявить степень выраженности когнитивных нарушений [5, 14, 31]. Анализ речевых функций проводится с помощью: письменных ответов на вопросы, описания изображения, чтения текста. Затем данные образцы речи подлежат расшифровке, и различные лингвистические маркеры определяются количественно (например, семантические, синтаксические, беглость речи и/или лексические структуры) [10, 26]. 
Несколько исследований, в которых изучалась письменная и устная речь, показывают, что специфические речевые изменения при БА обнаружены задолго до начала деменции [25, 27]. Mueller K.D. et al. (2016) исследовали образцы речи у 39 когнитивно здоровых пожилых людей и 39 пациентов с мнестическими расстройствами. При описании предложенных картинок участники с ЛКН показали парадоксально значительно лучшие результаты, чем участники группы здоровых лиц. Поскольку у них была снижена ассоциативная способность и, соответственно, они воспроизводили меньше семантических единиц и уникальных слов [26]. 
В следующем исследовании авторы отобрали пациентов из регистра по профилактике БА и провели комплексное нейропсихологическое обследование, в том числе описание картинки, в два этапа с разницей в 2 года. Окончательная выборка, включенная в анализ, состояла из 200 взрослых когнитивно здоровых и 64 пациентов с ЛКН. Для анализа речи использовались следующие показатели: семантический, синтаксический, лексический и беглость речи [24]. Образцы были автоматически проанализированы с помощью программы компьютерного анализа языка CLAN [22]. По результатам исследования семантические показатели и беглость речи снижались в течение двух лет значимо быстрее у пациентов с ЛКН по сравнению со здоровыми участниками. 
Lanzi A.M. et al. (2023) описывают протокол «DementiaBank», который состоит из дискурсивной части и когнитивно-лингвистической батареи. Дискурсивный протокол включает в себя четыре типа заданий: описание картинки, рассказ истории, выполнения заданий по заданному алгоритму и автобиографический рассказ. Исследование включало возможность подсказок, которые могут быть использованы, если участник не отвечает на первоначальную подсказку в течение 10 секунд и/или если ответ состоит менее чем из двух фраз. Для каждого задания в сценарии указано приблизительное время (в минутах). В исследование включались участники в возрасте 60 лет и старше, которые соответствовали следующим критериям исключения: нарушения слуха и зрения, тяжелые психические расстройства в анамнезе или другие системные заболевания, вызывающие снижение когнитивных способностей (например, опухоль головного мозга, черепно-мозговая травма, повторное или недавнее сотрясение мозга и др.). Участники были разделены на две группы: пациенты с БА (n = 20) и ЛКН (n = 33). Используя программную команду для определения частоты слов в файле (FREQ) из программы CLAN, авторы подсчитали общее количество заполненных пауз хезитации (например, «э-э» и «гм») и общее количество слов (включая слова, используемые при повторении и пересмотре) как у группы ЛКН, так и у БА. Среднее процентное содержание хезитаций к общему количеству слов при описании изображений составило 3,1% в группе с ЛКН (стандартное отклонение – SD = 2,8) и 4,5% в группе БА (SD = 4,4). В задании на рассказ истории результаты составили 4,9% (SD = 4,2) для группы с ЛКН и 4,2% (SD = 3,9) для группы БА. Хотя две группы не отличались по процентному содержанию хезитаций (в расчете на общее количество слов) ни в одном из заданий, внутригрупповой анализ продемонстрировал, что у группы с ЛКН отмечается значительно более высокий процент хезитаций при решении требовательной к когнитивным способностям задачи рассказа истории, по сравнению с задачей простого описания изображений (t = 2,09, p = 0,02 по одностороннему критерию) [20].
В исследовании Luz S. et al. (2020) участники были классифицированы как группа здоровых лиц и пациенты с когнитивными нарушениями. Участникам с когнитивными нарушениями проводилось нейропсихологическое исследование, которое выявило наличие следующих критериев:
1) критика в отношении снижения когнитивных способностей;
2) подтвержденное ухудшение памяти;
3) сохранные социальные функции и навыки;
4) отсутствие других психических расстройств [21].
После подписания информированного согласия участники проходили тестирование с помощью видеоконференции, которое продолжалось около 90 минут. В ходе тестирования участники выполняли задания дискурсивного протокола и когнитивно-лингвистической батареи [23]. 
К задачам протокола относились: описание изображения и рассказ истории на заданную тематику. Когнитивно-лингвистическая батарея включала MoCA (Монреальская шкала оценки когнитивных функций) [33], балл по которой сопоставлялся с баллом по MMSE (краткая шкала оценки когнитивных функций). В исследование включались участники в возрасте от 60 до 90 лет, с образованием не ниже среднего, не имеющие неврологических или психических расстройств в анамнезе. Всем участникам проводилась магнитно-резонансная томография головного мозга (МРТ), которая выявила атрофию в специфичных для БА областях. Ответы участников записывались на цифровой диктофон. Всего было получено 507 образцов речи (261 на китайском языке и 246 на английском языке). Задача авторов заключалась в создании системы автоматической классификации, позволяющей дифференцировать речь здоровых лиц от речи пациентов с ЛКН независимо от языка. Независящее от языка (китайский или английский) извлечение акустических признаков на основе аудиозаписей речи использовалось для создания модели определения баллов по MMSE по спонтанной речи. Для оценки качества компьютерной классификации ЛКН применялись специфичность, чувствительность и оценка F1 (оценочный показатель, который обычно используется в задачах классификации для оценки производительности модели). Таким образом, общая специфика предложенной системы классификации заключалась в том, что сопоставимые признаки, характерные для обоих языков, были объединены в единую прогностическую модель. Для изучения акустических характеристик протестировали два различных подхода: традиционный подход к извлечению признаков с использованием набора, который был признан эффективным для распознавания аффективной окраски и других параметров вычислительной паралингвистики (eGeMAPs), и подход к извлечению признаков на основе нейросетевой модели с самоконтролем (self-supervised, это обучение на неразмеченных данных с использованием алгоритмов, которые обычно применяют в машинном обучении с учителем). Набор eGeMAPs включает следующие признаки: приведенную к полутонам частоту основного тона (F0), громкость, спектральную плотность, мел-кепстральные коэффициенты (MFCC), джиттер, шиммер, форманты с первой по третью (F1-F3), альфа-коэффициент, индекс Хаммарберга и наклон V0. Получилось в общей сложности 88 признаков для каждой аудиозаписи голоса. Нейросетевые признаки извлекались с помощью предобученной модели wav2vec (это глубокая нейросетевая модель на архитектуре Трансформер, обучавшаяся на неразмеченных речевых представлениях) непосредственно из аудиозаписей, нормированных по длительности с помощью добавления нулей. Затем использовался слой агрегации признаков по временной шкале записи и слой снижения размерности со взятием максимума в окне для выделения наиболее важных признаков. В результате авторы сократили признаковое пространство до 512 нейросетевых признаков на каждую аудиозапись. Также авторы выделили лингвистические признаки, которые можно было сравнить на разных языках. Сначала записи были расшифрованы с использованием автоматического распознавания речи (ASR) и тегирования частей речи. Затем были рассчитаны следующие характеристики: количество лексем, плотность (отношение глаголов, прилагательных, наречий, предлогов и союзов к общему количеству лексем), соотношение глаголов и местоимений. Модели MLP (многослойный перцептрон) использовались как для классификации, так и для регрессии [21]. 
По результатам для задачи классификации лучшая модель достигла значения UAR (средняя невзвешенная полнота, которая позволяет объективно оценивать эффективность классификатора для несбалансированных данных) для данных, равного 59,18%, при объединении признаков wav2vec и eGeMAPs. Результаты были очень похожи на обоих языках (Английский: UAR = 60:00%; Китайский: UAR = 60:04%). В отличие от классификации, результаты регрессии различались в зависимости от языка. Для английского языка RMSE (корень из среднеквадратической ошибки, метрика, которая используется в регрессионном анализе и машинном обучении для измерения точности или качества подгонки предсказательной модели) составил 1,75, в то время как для китайского RMSE составил 3,71, что отражает стандартные отклонения при прохождении теста MMSE носителями соответствующих языков [21]. 
Многомодальная кросс-трансформерная модель представляется наиболее интересной для прогнозирования умеренных когнитивных нарушений с использованием речи, языка и зрения, предложена Far Poor F. et al. в 2024 году [12]. Программа включает в себя объединение трех различных модальностей, чтобы найти потенциальные взаимодействия между речью (аудио), языком (текст, транскрибированная речь) и зрением (видео с выражением лица). Этот метод объединения модальностей обеспечивает средний показатель AUC (метрика, которая показывает, насколько хорошо классификатор разделяет два класса) – 85,3% при сравнении ЛКН и здоровых лиц, значительно превосходя базовые модели унимодального (60,9%) и бимодального (76,3%) методов. Исходя из полученных результатов, предложенная мультимодальная модель способна отличать ЛКН от нормы с высочайшей средней точностью – 89,3%. Перспективы этой модели заключаются в точном прогнозировании ЛКН как важного предиктора прогрессирования БА.
В России анализ речи методами машинного обучения при когнитивных нарушениях не проводился. Однако российские неврологи использовали ИИ для диагностики болезни Паркинсона (БП) [2]. В исследование были включены 100 пациентов, которых вначале обследовали врачи-паркинсологи, а затем обычная нейросеть. Варианты заключения для нейросети были следующие: «Не исключается болезнь Паркинсона» или «Нет признаков болезни Паркинсона» (порог принятия решения 0,5). В результате тестирования получены данные: чувствительность — 80%, специфичность — 92%. По сравнению с общепринятыми клиническими критериями диагностики БП, голосовая диагностика с помощью обученной нейронной сети показала сопоставимые результаты по чувствительности и лучшие результаты по специфичности. 

Заключение

Таким образом, использование информационных технологий, в частности машинного обучения, для ранней диагностики нейродегенеративных заболеваний и их тяжести является актуальной проблемой для здравоохранения и современного общества в целом, а методы раннего выявления ЛКН у лиц пожилого возраста – весьма важная задача для профилактики деменции. Результаты вышеописанных исследований позволяют сделать вывод, что речь у лиц с мнестическими нарушениями является одним из важнейших маркеров когнитивных дисфункций. В исследованиях использовались как моно-, так и мультимодальные методы машинного обучения с целью выявления лингвистических характеристик речи, специфичных для ЛКН и деменции, но они имеют ряд ограничений, а именно сложности методик анализа речи, финансовые расходы, большие временные затраты и отсутствие дифференциации между различными типами деменции. Представляются перспективными и интересными дальнейшие исследования в кооперации специалистов различных научных сфер.


Дата поступления: 14.04.2025
Received: 14.04.2025
Принята к печати: 26.07.2025
Accepted: 26.07.2025

Авторы заявляют об отсутствии конфликта интересов.
The authors declare no conflicts of interest.