Психиатрия Психиатрия и психофармакотерапия им. П.Б. Ганнушкина
№02 2016

Актуальность. Действующий образовательный стандарт по направлению подготовки «лечебное дело» требует от выпускников «способности и готовности» осуществлять разнообразную медицинскую деятельность, а следовательно, учебный процесс должен быть основан на развитии и оценке таких компетенций. Отработка неподготовленными студентами практических навыков непосредственно в клинике ведет к затрате значительных ресурсов. Виртуальное и симуляционное обучение может быть эффективно на начальных этапах формирования практических навыков, что делает актуальным разработку информационных систем для обучения такого типа, в том числе в психиатрии.

Материалы и методы. При сотрудничестве кафедры психиатрии ГБОУ ВПО «Первый Санкт-Петербургский государственный медицинский университет им. акад. И.П.Павлова» Минздрава России и кафедры компьютерных образовательных технологий ФГАОУ ВО «Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики» разработана информационная система Vcase, предназначенная для оценки и тренинга навыка диагностики психических расстройств по клиническим описаниям с использованием заданий по разметке текстов ситуационных задач и обозначения участков текста терминами предметной области. В исследовании приняли участие 38 студентов 5-го курса ГБОУ ВПО «Первый СПбГМУ им. акад. И.П.Павлова», которым было предложено решить по 6 задач из раздела общей психопатологии в системе Vcase (3 – в начале и 3 – в конце обучения), всего получено 163 решения.

Результаты. В 94% решений учащиеся верно указали ведущий синдром, но при выделении симптомов и соответствующих им описаний в тексте задачи ими было выявлено лишь 69% симптомов, кроме того, выделено более 200 ошибочных симптомов (25% ответов). Ошибки были разделены на фактические (3% ответов), связанные с пробелами в знаниях, и когнитивные искажения (22%), связанные с искаженной интерпретацией многозначных клинических описаний без учета контекста задачи. В конце обучения студенты лучше выявляли симптомы и допускали меньше ошибок. Общий балл за решение задач в системе Vcase коррелировал с оценкой на зачете у преподавателя (r=0,44).

Выводы. Подход, реализованный в системе Vcase, позволяет провести стандартизированную, автоматизированную оценку навыков учащихся по диагностике психических расстройств на основе описания клинических ситуаций. Анализ полученных ответов дает возможность выявить особенности мышления учащихся при диагностике психических расстройств (в том числе так называемый герменевтический круг), что может быть ценно для совершенствования учебного процесса.

Ключевые слова: компетенции, компетентность, навыки, диагностика, ситуационные задачи, виртуальные пациенты, обучение студентов, общая психопатология.

iam@s-psy.ru

Для цитирования: Мартынихин И.А., Антонов В.С., Незнанов Н.Г. и др. Подход к автоматизированной оценке диагностической компетентности студентов медицинских вузов, изучающих психиатрию. Психиатрия и психофармакотерапия. 2016; 18 (2): 54–61.

A computer-aided approach to the assessment of diagnostic competencies of medical students studying psychiatry

I.A.Martynikhin1, V.S.Antonov2, N.G.Neznanov1,3, L.S.Lisitsyna2, A.V.Lyamin2

1 I.P.Pavlov First Saint Petersburg State Medical University of the Ministry of Health of the Russian Federation. 197022, Russian Federation, Saint Petersburg, ul. L'va Tolstogo, d. 6/8;

2 Information Technologies, Mechanics and Optics University. 197101, Russian Federation, Saint Petersburg, Kronverkskii pr-t, d. 49;

3 V.M.Bekhterev Saint Petersburg Research Institute. 192019, Russian Federation, Saint Petersburg, ul. Bekhtereva, d. 3

The current educational standards for Medical Doctors in Russia require ability and readiness to perform variety of medical activities, which provides the need for the educational process to develop and evaluate such competences. Training of practical skills within the clinical setting will lead to waste of substantial resources and raise ethical concerns. Thus the use of computer-aided patient simulators can potentially increase the effectiveness of practical skills training. Development of computerized systems for training and assessment of practical skills, including diagnostic skills, is important in medical education, and in psychiatry in particular.

Methods. Vcase – a computerized system dedicated for training and evaluation of the diagnostic skills in psychiatry – was developed by the Department of Psychiatry of I.P.Pavlov First Saint Petersburg State Medical University of the Ministry of Health of the Russian Federation in collaboration with the Department of Computerized Educational Technologies of 2Information Technologies, Mechanics and Optics University. The system uses clinical descriptions (“cases”) that are supposed to be evaluated using text-markup algorithms. In total 38 medical students (5th year of education) of I.P.Pavlov First Saint Petersburg SMU participated in the study. They were asked to complete 6 clinical cases on General Psychopathology in the Vcase system (3 cases at the beginning of the course of psychiatry and 3 cases – two weeks later); 163 responses were received.

Results. In 94% of responses the students were able to determine the leading syndrome correctly. However they correctly allocated only 69% of the symptoms with the corresponding descriptions in case descriptions. They also determined more than 200 symptoms incorrectly (25% of the responses). There were 2 types of errors – virtual ones, due to lack of knowledge (3% of responses), and cognitive distortions (22% of responses) associated with the distorted interpretation of the multi-valued clinical descriptions without paying enough attention to the context of a case. After two weeks of training in psychiatry students were able to better identify symptoms and were making less mistakes. The total score of the Vcase test correlated well with the results of the assessment of students' clinical skills conducted by a teacher (r=0.44).

Conclusion. Implementation of the Vcase system provided a standardized, automated assessment of the students’ skills of establishing diagnosis of a mental disorder based on the description of a clinical case. Analysis of the errors made by the students provides an opportunity to identify patterns of their “clinical judgment” (including “hermeneutic circle”), which can contribute significantly into improving of educational process.

Key words: competence, clinical skills, diagnosis, case studies, virtual patients, descriptive general psychopathology.

iam@s-psy.ru

For citation: Martynikhin I.A., Antonov V.S., Neznanov N.G. et al. A computer-aided approach to the assessment of diagnostic competencies of medical students studying psychiatry. Psychiatry and Psychopharamcotherapy. 2016; 18 (2): 54–61.

---

Введение

В принятом в 2010 г. Федеральном государственном образовательном стандарте (ФГОС) высшего профессионального образования по направлению подготовки «лечебное дело» [1] в качестве квалификационных требований к будущим врачам государством установлен перечень компетенций. Согласно этим требованиям выпускник медицинского вуза должен обладать сформированной «способностью и готовностью» осуществлять разностороннюю медицинскую деятельность. Акцент на компетентности, т.е. способности применять на практике имеющиеся знания и навыки, во ФГОС III поколения отражает современный международный подход в образовании (так называемый компетентностный подход). К тому же развитие информационных технологий сделало повсеместно доступным большое количество научной медицинской информации и самых разнообразных учебных пособий, уменьшив этим значение вузов в качестве места передачи учащимся теоретических знаний.

На практике внедрение компетентностного подхода в образовательный процесс делает необходимым существенно большее внимание уделить обучению студентов практическому применению знаний и отработке практических навыков, чем это делалось в сложившейся в последние десятилетия модели российского медицинского образования. При этом по целому ряду причин перемещение акцента с обучения теории на формирование практических навыков является весьма непростой задачей. Во-первых, освоение практических навыков учащимися требует использования значительных ресурсов кафедральных клиник (только несколько кафедр психиатрии в России имеют собственные клиники) и клинических баз. С учетом большого количества учащихся, которых становится все больше по сравнению со временами формирования классической клинической медицины, этих ресурсов часто не хватает. Во-вторых, клинические навыки формируются при индивидуальной работе «у постели больного» молодого врача с опытным врачом-наставником, поэтому увеличение часов практических занятий существенно увеличивает нагрузку на и без того дефицитных преподавателей. В-третьих, работа изначально не обладающих должными практическими навыками студентов с пациентами создает для последних дополнительную нагрузку, а в некоторых случаях может нести прямой или косвенный ущерб их здоровью, что поднимает вопрос этичности обучения студентов «на больных», а также ведет к жалобам и отказам пациентов от участия в образовательном процессе.

Данные причины обусловливают высокую ресурсоемкость и как следствие – высокую стоимость практического обучения в медицине. Поиском путей преодоления этих проблем занимаются во всем мире. Общим подходом, нашедшим отражение в действующем ФГОС, является постепенное и последовательное внедрение практической работы на всех этапах обучения, начиная с самого раннего, вместе с внедрением виртуального и симуляционного обучения, направленного на предварительную подготовку учащихся к взаимодействию с реальными больными. Использование виртуального и симуляционного обучения открывает новые возможности в отработке практических навыков и является эффективным и экономичным способом сократить разрыв между теоретической и практической подготовкой будущих врачей. Более того, такое обучение способно повышать вовлеченность и интерес студентов к учебе [2].

Можно рассматривать следующие этапы, способные сократить разрыв между теоретической и практической подготовкой (рис. 1).

После вводной теоретической части может следовать отработка навыков решения ситуационных (клинических) задач в учебном классе с преподавателем или во время самостоятельной работы студента в специальных информационных системах (такие информатизированные задачи принято называть «виртуальными пациентами»). На этом этапе отрабатываются навыки поиска и выделения клинической информации, наиболее важной в каждом конкретном случае, ее анализа, постановки диагноза, принятия разнообразных клинических решений и пр. При этом использование информационных систем позволяет учащимся решать больше задач, в том числе с разнообразными типами заданий, вплоть до заданий с применением виртуальной реальности и многопользовательского режима (для отработки командного взаимодействия несколькими учащимися), а также быть в большей степени вовлеченными в их решение, чем это происходит при очной работе с преподавателем. В настоящее время существует целый ряд информационных систем, позволяющих создавать подобные интерактивные клинические задачи. Например, MedSims (http://www.medsims.com), DxR (http://www. dxrgroup.com), Web-SP (http://websp.lime.ki.se), eViP (http://www.virtualpatients.eu), CASUS (http://www.instruct. eu/en) и множество других.

Следующим этапом приобретения практических навыков может быть симуляционное обучение, которым обычно называют занятия, направленные на отработку техники разных методов физикального обследования и медицинских манипуляций, проводящиеся с применением специального симуляционного оборудования (манекены, фантомы, диагностические установки и пр.) или так называемых стандартизированных пациентов (специально подготовленных актеров). Симуляционное обучение успешно развивается во многих медицинских специальностях, в том числе в нашей стране [3].

Учащиеся, отработавшие решение заданий на этих этапах, могут допускаться к учебе в реальных клинических условиях под контролем преподавателей. При этом необходимо отметить, что с позиции когнитивных наук навыки (как мануальные, так и когнитивные) рассматриваются как форма недекларативной памяти (подробнее, например, [4]), поэтому для формирования компетенций необходим опыт в виде большого количества повторений (тренинг). Как раз применение виртуального и симуляционного обучения позволяет повторять задания, необходимые каждому конкретному учащемуся, необходимое число раз без какого-либо риска для пациентов, что также является большим преимуществом использования этих подходов.

Психиатрия является весьма сложной для изучения клинической дисциплиной. В отличие от многих других медицинских специальностей, при подготовке на цикле психиатрии наиболее важным практическим умением являются навыки диагностики. Созданию специализированной информационной системы, предназначенной для оценки и тренинга навыка диагностики психических расстройств, посвящено сотрудничество преподавателей кафедры психиатрии и наркологии ГБОУ ВПО «Первый Санкт-Петербургский государственный медицинский университет им. акад. И.П.Павлова» Минздрава России (заведующий кафедрой – профессор Н.Г.Незнанов) и кафедры компьютерных образовательных технологии ФГАОУ ВО «Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики» (заведующая кафедрой – профессор Л.С.Лисицына).

В результате совместной работы была создана информационная система, получившая обозначение Vcase (http://www.s-psy.ru/vcase) и предназначенная для создания учебных заданий по разметке текстов ситуационных задач и обозначения участков текста терминами предметной области. Предполагается, что данный вид заданий может позволить проводить автоматизированную и стандартизированную оценку имеющихся у учащихся навыков диагностики психических расстройств по клиническим описаниям, а при многократном решении подобных заданий в специальном режиме с предъявлением сопоставления ответа учащегося и эталонного ответа он может становиться методом тренинга указанных навыков. Целью I этапа апробации системы Vcase, которому посвящена настоящая публикация, стало изучение эффективности созданных в ней заданий в качестве средства оценки навыков студентов, проходящих обучение на цикле психиатрии, по выявлению психопатологических симптомов и синдромов в описаниях клинических ситуаций.

Кроме непосредственного прикладного применения системы Vcase, в образовательном процессе представляется важным, что обобщенные данные об ответах учащихся, полученные при решении стандартизированных заданий в электронном формате, могут использоваться для анализа особенностей диагностического мышления учащихся, свойственных им когнитивных искажений и пробелов в фактических знаниях. Пример такого анализа, приведенный в данной статье в разделе «обсуждения результатов», позволяет сформулировать некоторые направления совершенствования преподавания психиатрии в вузах, а также дальнейших исследований особенностей клинического мышления врачей и студентов при диагностике психических расстройств.

Материалы и методы

Система Vcase представляет собой веб-приложение. Оно создано с помощью фреймворка Django и требует для своей работы наличие веб-сервера Apache. Серверная логика реализована с помощью языка Python, данные хранятся в базе под управлением PostrgeSQL и могут быть выгружены для последующего анализа в формате электронных таблиц MS Excel. Веб-интерфейс создан с помощью шаблонов Django, CSS-фреймворка Bootstrap и javascript-библиотек jQuery, Underscore и др. Таким образом, обеспечена работа системы во всех современных браузерах, в том числе и на мобильных платформах.

Исходя из общих возможностей системы, при обучении студентов медицинских вузов на цикле психиатрии и медицинской психологии потенциально она может применяться для следующих целей:

1. Оценка навыков диагностики психических расстройств. В этом случае задания даются в режиме аттестации. В тексте ситуационной задачи, представляющей собой описание клинического случая, учащегося просят выделить и обозначить терминами из представленного списка описания психопатологических симптомов указания на особенности возникновения и течения расстройства и т.д. В конце задания учащийся должен установить диагноз. Система проводит автоматизированную оценку ответа, сравнивая ответы учащегося с эталонным ответом, заданным автором задачи при ее создании, при этом оцениваются как совпадения терминов, так и совпадения участков текста задачи, которые учащийся выделял для отдельных терминов.

2. Отработка навыков диагностики психических расстройств. В этом случае задания даются в режиме обучения (тренинга). Сперва учащемуся необходимо ответить на вопросы задачи, выделив и обозначив терминами необходимые участки текста ситуационной задачи, а после ответа на все поставленные в задаче вопросы выводится сопоставление его ответа с эталонным ответом, заданным автором задачи. При этом учащийся может просмотреть как различия в выделении участков текста задачи, так и различия в выбранных терминах, а также ознакомиться с разъясняющими комментариями автора задачи. Предполагается, что, получив такую обратную связь по своему ответу и разъяснения о правильном пути решения задачи, учащийся через какое-то время может вновь вернуться к решению этой или других задач, стараясь приблизиться к 100% совпадению своего ответа и эталона, тем самым совершенствуя свои навыки.

Интерфейс системы Vcase при решении учащимся задачи представлен на рис. 2.

Перед учащимся ставится ряд вопросов (1), он может переходить от одного вопроса к другому, ответ учащегося может быть сохранен (5) только в том случае, если даны ответы на все стоящие перед ним вопросы. Прочитав задачу, учащийся должен выбрать необходимый термин из списка терминов справа (2) и выделить соответствующее ему описание в тексте задачи (3). После этого в тексте задачи появляется подчеркивание, цвет которого соответствует цвету подчеркивания термина в списке. А под задачей сохраняется ответ (4) в виде выбранного термина и текста задачи, который ему соответствует. Учащийся может редактировать свои ответы (удалять, корректировать и пр.).

На рис. 3 представлен интерфейс системы Vcase при сопоставлении ответов учащегося и эталонных ответов, которое демонстрируется учащемуся в режиме обучения.

Задачи данного исследования были сформулированы следующим образом:

1. Оценить общую работоспособность системы, удобство использования, отзывы учащихся о работе с системой.

2. Оценить количество правильных и неправильных ответов респондентов, проанализировать типы ошибок, сформулировать алгоритм расчета оценки за решение заданий.

3. Для оценки сопоставимости результатов решения задач в системе Vcase по сравнению с традиционными методами оценки знаний студентов определить корреляцию оценок, полученных разными средствами.

4. Для определения чувствительности метода к изменениям знаний учащихся оценить динамику оценки за решение заданий в системе Vcase в ходе обучения на цикле психиатрии (в начале и в конце обучения).

5. Проанализировать типичные ошибки и наиболее сложные для учащихся аспекты диагностики, когнитивные искажения, которые им свойственны.

Апробация проводилась на базе кафедры психиатрии и наркологии ГБОУ ВПО «Первый СПбГМУ им. акад. И.П.Павлова». Студентам 5 групп 5-го курса лечебного факультета, проходящим обучение на кафедре, было предложено:

1. Ознакомиться с работой системы (задача А с предъявлением эталонного ответа в режиме обучения, с помощью которого студенты получали представление об особенностях работы с системой, типах вопросов, подходах к оценке ответов и пр. Ответы на данную задачу в дальнейший анализ не включались).

2. Решить 3 задачи в режиме проверки знаний (задачи Б, В, Г) из раздела «Общая психопатология» сразу же после окончания лекций по этому разделу, но до проведения очного зачета по нему (первое решение).

3. Решить 3 задачи в режиме проверки знаний (задачи Д, Е, Ж) из раздела «Общая психопатология» в конце обучения на цикле психиатрии перед сдачей экзамена по психиатрии (второе решение).

Из журналов успеваемости были взяты оценки студентов, принявших участие в исследовании, по разделу «Общая психопатология» и общий балл, полученный на цикле.

В качестве задач для данного исследования использовались незначительно адаптированные тексты ситуационных задач, рутинно используемые во время устных зачетов при обучении на кафедре. Данные задачи содержат достаточно характерные, непротиворечивые и лаконичные описания клинических случаев, иллюстрирующих синдромы, изучаемые на цикле психиатрии. Две задачи (Б, Е) содержали описание астенического синдрома, по одной задаче описывали тревожно-фобический синдром (В), дисморфоманию (Г), синдром психических автоматизмов в сочетании с апато-абулическим синдромом (Д) и делирий (Ж). В задачах перед испытуемыми были поставлены два типа вопросов, аналогичных тем типам вопросов, которые ставятся преподавателями в ходе устного решения подобных задач на зачете по данному разделу цикла психиатрии:

1. Первый тип вопросов («Укажите симптомы…») требовал ответов «первого уровня»: в задаче респонденты должны были выделить участки текста и обозначить их соответствующими терминами из предложенных списков (списки психопатологических симптомов). Для упрощения поиска нужных терминов в большинстве задач списки симптомов были разделены в соответствии с отдельными темами раздела общей психопатологии (патология восприятия, мышления, памяти и пр.). Соответственно, были сформулированы отдельные вопросы с заданием: указать симптомы из каждого такого списка. В двух задачах (Г, Ж) все симптомы давались единым списком.

2. Второй тип вопросов («Укажите синдром/ы») подразумевал обобщенный ответ на задачу, при этом не требовалось выделение каких-либо участков в тексте задачи.

Статистическая обработка полученных результатов при сравнении количества правильных ответов и числа ошибок в ходе решения 1 и решения 2 производились с применением точного теста Фишера при помощи онлайн-калькулятора GraphPad (http://www.graphpad.com/quickcalcs). Для сравнения динамики баллов за решение задач в системе Vcase применялся t-тест для парных выборок, а для оценки корреляции между баллами за решение задач в системе Vcase с показателями успеваемости студентов, полученными при очной оценке знаний, использовался коэффициент корреляции Спирмена (статистический пакет IBM SPSS Statistics 20).

Результаты

Из 47 студентов, которым было предложено принять участие в исследовании, участие приняли 38 человек, при этом все 6 предложенных задач решили 19 студентов. Всего получено 163 решения (в среднем 27 решений на задачу).

В ответах респондентов был выделен ряд ошибок, связанных с техническими аспектами работы системы. Данные ошибки учтены (нивелированы) в алгоритме оценки правильности решения задачи, а сами ошибки подобного рода исключены из содержательного анализа ответов. Итого в анализ включено 1204 обозначенных учащимися в своих ответах термина (в среднем по 200 терминов на задачу).

На обобщающие вопросы (синдромы) в 94% случаев учащиеся указывали правильный ответ, но около 1/3 таких ответов были неполные (например, в задаче Д 2/3 студентов указали лишь синдром психических автоматизмов, который был наиболее ярко описан в тексте задачи, но не указали апато-абулический синдром), либо, напротив, содержали лишние синдромы (например, в задаче Ж с описанием делирия вместе с правильным ответом несколько студентов дополнительно дали ответ галлюцинаторно-бредовой синдром). Полностью точный ответ был дан в 66% всех решений.

При указании симптомов психических расстройств в среднем 69% симптомов, обозначенных в эталонном решении, были верно выявлены и выделены респондентами в текстах задач; оставшийся 31% симптомов пропущен. Однако среди ответов, данных учащимися, 219 терминов (25% ответов на данный тип вопросов) было выделено ошибочно (лишними). Все ошибочные ответы были рассмотрены по отдельности авторами работы, при этом ошибки разделены на два типа:

1) фактические ошибки, вероятно связанные с плохим знанием студентами рассматриваемого материала; такой тип ошибок определялся при грубом несоответствии выделенного в тексте задачи описания и того термина (симптома), которым это описание было обозначено;

2) когнитивные искажения; такой тип ошибок определялся в тех случаях, когда респондент давал ответ, близкий по смыслу к выделенному им участку в тексте задачи, но не соответствующий общему контексту задачи. Например, в задаче Б, в которой был описан астенический синдром (соматогенная астения), наиболее характерными ошибками второго типа (когнитивными искажениями) были случаи, когда описания эмоциональной лабильности («…часто даже незначительные происшествия, разговоры с близкими "выводят из равновесия" – раздражают или вызывают слезы…») отмечались как дисфория, эксплозивность или эмоциональная неадекватность; или когда часть описания повышенной утомляемости – «в эти периоды нарушается общее самочувствие ("бываю как ватная")…» – обозначалась как сенестопатии. Примерами фактических ошибок могут быть ответы, в которых первый процитированный нами участок задачи был обозначен «гипертимией», а второй – «дисфорией».

Характерно, что одни и те же ошибки по типу когнитивных искажений повторялись у многих респондентов (например, из примера выше, из 34 респондентов эмоциональную лабильность обозначили дисфорией 4 студента, эксплозивностью – 3, эмоциональной неадекватностью – 5). Они были понятны при их рассмотрении сквозь призму особенностей понимания студентами текста задачи (например, в задаче Е, также с соматогенной астенией, в описании эмоциональной лабильности была добавлена фраза «при разговоре о болезни на глазах появляются слезы», что сразу привело к тому, что 5 респондентов оценили состояние как гипотимию), а также особенностей изложения учебного материала. Например, сенестопатии на лекциях и в кафедральных учебных пособиях не рассматриваются как патология «общего чувства», поэтому такой ответ 5 студентов в задаче об астении при описании чувства слабости и повышенной утомляемости с образным сравнением от лица пациента «бываю как ватная» был связан скорее всего с тем, что в учебных пособиях есть упоминание о том, что пациенты с сенестопатиями часто сопровождают описания своих жалоб образными сравнениями с использованием слов «как будто...». Фактические ошибки студентов всегда были индивидуальны. Когнитивные ошибки были существенно более частые, чем фактические (соответственно, 22 и 3% от общего количества ответов на данный тип вопросов).

В таблице приведено сравнение ответов респондентов в ходе решения 1 (задачи Б, В, Г), т.е. в начале занятий на цикле психиатрии, и решения 2 (задачи Д, Е, Ж) в конце занятий.

В отношении выделения синдромов уже при первом решении ответы подавляющего числа респондентов (95%) содержали правильный ответ, а в 68% случаев были полностью точными. Во втором решении процент правильных ответов был даже несколько ниже (что связано с трудностями, которые вызвала у респондентов задача Д, содержащая два синдрома), но разница не имела статистической значимости. Другая динамика была в вопросах о симптомах. Процент правильно выделенных симптомов значимо увеличился при втором решении по сравнению с первым, а количество ошибок значимо снизилось (как фактических ошибок, количество которых во втором решении практически приблизилось к нулю, так и ошибок по типу когнитивных искажений, чье количество снизилось более чем в 2 раза).

Для каждого решения задачи был проведен расчет общего балла согласно следующей формуле (упрощенно):

[Точность определения синдрома + (количество правильно выделенных симптомов – количество ошибочно выделенных симптомов)/количество симптомов в эталонном ответе)/2] × 100%, где точность определения синдро-ма = (количество правильно выделенных синдромов/количество синдромов в эталонном ответе)/количество неправильно выделенных синдромов.

Симптом считался указанным верно при совпадении с эталонным ответом термина и как минимум 50% выделенного с ним текста задачи. Таким образом, за решение задания учащийся мог получить максимальный балл 100%, при этом балл равномерно складывался из ответов на вопросы о симптомах и синдромах.

Средний балл респондентов, вычисленный по указанной формуле, за все решения задач составил 53,6% (SD 20,1%). При этом при парном сравнении значений среднего балла за первые 3 и вторые 3 задачи отмечалось статистически значимое увеличение среднего балла во втором случае (45,6%; SD 18,8% vs 69,7%; SD 14,1%; n=19); p<0,0001. Также отмечалась статистически значимая корреляция среднего балла за все задачи, решенные каждым из респондентов, с баллом, полученным за устный зачет по общей психопатологии (rs=0,44, p=0,007), и с общим баллом, полученным за занятия на цикле психиатрии в соответствии с балльно-рейтинговой системой, принятой на кафедре (rs=0,38); p=0,021.

Большая часть учащихся положительно оценили опыт решения задач с применением системы Vcase. В ответ на вопрос анкеты «Насколько вам понравилась работа с системой по 5-балльной шкале?» средний ответ участников исследования составил 4,6 балла; «Насколько вам было трудно работать с системой?» – 3,8 балла; «Насколько необходимы в обучении студентов-медиков подобные системы?» – 4,5 балла. В комментариях учащиеся отмечали, что работа с системой «учит выделять главное», «улучшает понимание», «закрепляет» и «показывает реальные знания». Среди отрицательных аспектов респонденты отметили, что работа с системой более кропотливая и долгая, чем устный ответ преподавателю.

Обсуждение результатов

Оценки, полученные по результатам решения ситуационных задач в системе Vcase, продемонстрировали корреляционную связь средней силы с традиционной оценкой знаний, в том числе при решении подобных задач во время устного зачета у преподавателя, что может свидетельствовать об относительной сопоставимости оценок, полученных этими двумя методами. Кроме того, результаты работы с системой Vcase демонстрируют ее чувствительность к изменению знаний и навыков учащихся в ходе обучения – средний балл значимо увеличился, когда задачи решались в конце обучения.

При оценке указанных нами закономерностей существовали определенные методологические сложности. Например, каждая из задач имеет свои особенности, что закономерно отражается на результатах ее решения и делает бессмысленным сопоставление результатов, полученных при решении разных задач, один к одному. Именно поэтому для сравнения нами были подобраны две тройки относительно равнозначных задач. Другой существенной проблемой могут быть сомнения в объективности эталонного ответа, с которым проводится сравнение ответов учащихся. Действительно, даже в использовавшихся в данном исследовании относительно простых и непротиворечивых задачах существуют отдельные элементы, которые могут подразумевать несколько относительно равновероятных интерпретаций. В сложных задачах таких элементов должно быть больше. Логически четкий алгоритм верификации ответов в информационной системе делает однозначный выбор в пользу ответов автора задачи, а другие возможные варианты и аргументы в их пользу рассматривать не может. В этом есть недостаток автоматизированной оценки решений по сравнению с более гибкой их оценкой экспертом, но, с другой стороны, подход, сравнивающий ответ педагога и учащегося, по своей сути близок к традиционному клиническому пути обучения специалиста, когда у постели больного молодой врач наблюдает и перенимает приемы своего опытного коллеги.

Таким образом, результаты данного исследования свидетельствуют о возможности применения системы Vcase для оценки навыков учащихся по выявлению психопатологических симптомов и синдромов в описаниях клинических ситуаций наравне (или совместно) с очной оценкой данных навыков преподавателем. Преимуществом использования системы являются стандартизированность и большая объективность оценок. Конечно, диагностическая компетентность врача включает множество компонентов [5], в том числе умение слушать пациента, наблюдать, правильно формулировать вопросы, направлять беседу, проявлять эмпатию и т.д. Диагностика по заранее подготовленным клиническим описаниям затрагивает лишь аспект анализа клинической картины, однако именно анализ такого рода позволяет опытному врачу правильно строить беседу с пациентом, а студенты, не обладающие этим умением, часто оказываются беспомощны при обследовании реальных пациентов. Именно поэтому, вероятно, наибольшие преимущества будет давать работа студентов с системой Vcase в режиме тренинга для отработки навыков анализа клинических ситуаций и подготовки к непосредственной курации больных, хотя эффективность этой стороны использования системы еще предстоит изучить в дальнейших исследованиях.

Ценным представляются данные, полученные при анализе собранной в ходе апробации системы статистики ответов. Так, очевидно, что респонденты уже в начале изучения психиатрии с легкостью узнают основной психопатологический синдром, при том что отдельные симптомы, которые его составляют, они выделяли значительно хуже, и даже значительное количество пропущенных симптомов или симптомов, выделенных ошибочно и не укладывающихся в общий контекст задачи, отрицательно не сказались на правильном выявлении синдрома.

Вероятно, это свидетельствует о том, что выставление синдромального диагноза в типичных случаях, которые были представлены в задачах, происходит по типу «диагноза узнавания», «сравнения с прототипом» [6] или выделения лишь центрального, стержневого элемента синдрома [7]. По мнению ряда исследователей [6, 8], действительно, подобный когнитивный тип диагностики в работе врачей является естественным, распространенным, хотя и не всегда осознаваемым подходом. С другой стороны, предполагается, что применение такой быстрой, грубой, обобщенной оценки без анализа и рационального осмысления деталей может приводить к диагностическим ошибкам и росту субъективности оценок [9, 10]. В нашей работе вместе с расширением и углублением знаний к концу цикла студенты стали достоверно лучше выделять описанные в задаче симптомы и совершать меньше ошибок, что свидетельствует о формировании более дифференцированного навыка обнаружения деталей психического статуса.

Сложными аспектами при постановке синдромального диагноза для респондентов оказались иерархический принцип при выделении ведущего синдрома и относительная самостоятельность позитивной и негативной симптоматики. Даже в конце цикла, после изучения вопросов частной психиатрии, многие студенты допустили здесь ошибки, что говорит о необходимости дополнительного внимания к этим вопросам во время обучения.

При анализе ошибок, сделанных при выделении симптомов в тексте задач, нами были выделены ошибки по типу когнитивных искажений. Несколько последних десятилетий в психологии, экономике, исследованиях принятий решений активно изучаются так называемые когнитивные эвристики, т.е. быстрые, интуитивные решения, которые при определенных условиях могут давать человеку некоторые преимущества (например, за счет увеличения скорости принятия решений и экономии энергии на требовательные к ресурсам рациональные рассуждения), но в других условиях способные приводить к существенным искажениям и ошибкам. Значительное число подобных когнитивных искажений (например, искажения, связанные с эвристиками доступности, репрезентативности, эффектом якорения и пр.) и история их изучения описаны в работах нобелевского лауреата Д.Канемана (например, [11]). Также существуют публикации, анализирующие их возможное влияние на диагностику психических расстройств [12]. Вероятно, и в нашем исследовании ошибки студентов были связаны с разного рода когнитивными эвристиками и ограничением их рациональности, когда без рассмотрения общего контекста задачи респондент выбирал наиболее доступный, легко приходящий на ум, репрезентативный в его глазах вариант интерпретации клинического описания, не продолжая поиск других, лучше согласующихся с прочими аспектами задачи вариантов. С учетом большого числа подобных ошибок можно предполагать, что недостаточный учет контекста при интерпретации деталей и искажения, обусловленные случайными факторами, являются особенностями, которые существенно отличают студентов от опытных специалистов, хотя это предположение также требует дополнительной проверки. С другой стороны, полученные результаты еще раз иллюстрируют то, что само по себе описание той или иной жалобы или особенностей поведения пациента является многозначным (допускает несколько толкований), и только контекст помогает его верно интерпретировать. Здесь наблюдается так называемый герменевтический круг диагностики, о котором писал К.Ясперс [13]: частное (симптомы) помогает понять общее (синдром), а общее (синдром) – частное (симптом). В этой связи изолированное использование перечней малоспецифичных критериев, приводимых в современных классификациях психических расстройств, может плохо подходить для диагностического поиска (так как без учета целого трудно разрешить многозначность деталей), зато эффективно для подтверждения диагноза (применение таких перечней, как известно, значимо повышает согласованность и воспроизводимость диагностики [9, 10]). Следовательно, и в обучении студентов наиболее целесообразно сочетание двух типов информации – описания эталонных клинических случаев, которые могут служить прототипом, и перечней критериев, которые могут быть полезны для подтверждения и уточнения диагнозов.

Таким образом, метод, используемый в системе Vcase, способен давать ценные научные данные, а дальнейшее изучение особенностей мышления учащихся и врачей при решении диагностических задач может способствовать совершенствованию образовательного процесса, указав на пробелы в изложении материала, подсказав необходимые акценты при подготовке учебных программ и пособий. Накопление статистики ответов на задачи может помочь по новому взглянуть на некоторые теоретические вопросы, традиционно обсуждающиеся в контексте разных диагностических подходов, но не имеющие однозначных ответов, в том числе об иерархии симптомов в синдроме, факультативности и облигатности симптомов/критериев, их чувствительности и специфичности и т.д.

Выводы

Подход, реализованный в системе Vcase, позволяет провести стандартизированную, автоматизированную оценку навыков учащихся по диагностике психических расстройств на основе описаний клинических ситуаций. Оценки, полученные при решении задач в системе, хорошо коррелировали с традиционной оценкой знаний и умений, в том числе при решении подобных ситуационных задач во время устного зачета у преподавателя. Метод обладает чувствительностью к изменению знаний и навыков студентов в процессе обучения. Представляется возможным использовать систему Vcase для оценки диагностической компетентности учащихся совместно с очной оценкой преподавателем, хотя, возможно, наибольшие преимущества от ее использования будет иметь работа с системой в режиме тренинга для подготовки учащихся к курации пациентов. Эффективность тренингов с использованием системы Vcase для развития диагностической компетентности планируется оценить в дальнейших исследованиях. Кроме того, данные, собираемые при работе учащихся в системе Vcase, могут давать ценную информацию о характерных ошибках (когнитивных и фактических), допускаемых студентами. Подобная информация может использоваться для совершенствования учебного процесса (в том числе учебных пособий и тренингов) и изучения особенностей клинического мышления врачей.

---

Сведения об авторах

Мартынихин Иван Андреевич – канд. мед. наук, доц. каф. психиатрии и наркологии ГБОУ ВПО Первый СПбГМУ им. акад. И.П.Павлова. E-mail: iam@s-psy.ru

Антонов Владимир Сергеевич – магистр каф. компьютерных образовательных технологий ФГАОУ ВО СПб НИУ ИТМО

Незнанов Николай Григорьевич – д-р мед. наук, проф., зав. каф. психиатрии и наркологии ГБОУ ВПО Первый СПбГМУ им. акад. И.П.Павлова, дир. ФГАОУ ВО СПб НИПНИ им. В.М.Бехтерева

Лисицына Любовь Сергеевна – д-р техн. наук, проф., зав. каф. компьютерных образовательных технологий ФГАОУ ВО СПб НИУ ИТМО

Лямин Андрей Владимирович – канд. техн. наук, проф. каф. компьютерных образовательных технологий ФГАОУ ВО СПб НИУ ИТМО

Список исп. литературыСкрыть список

1. Приказ Минобрнауки России от 08.11.2010 №1118 «Об утверждении и введении в действие федерального государственного образовательного стандарта высшего профессионального образования по направлению подготовки (специальности) 060101 Лечебное дело (квалификация (степень) "специалист")» (зарегистрировано в Минюсте России 20.12.2010 №19261). http://psychiatr.ru/news/405 / Prikaz Minobrnauki Rossii ot 08.11.2010 №1118 «Ob utverzhdenii i vvedenii v deistvie federal'nogo gosudarstvennogo obrazovatel'nogo standarta vysshego professional'nogo obrazovaniia po napravleniiu podgotovki (spetsial'nosti) 060101 Lechebnoe delo (kvalifikatsiia (stepen') "spetsialist")» (zaregistrirovano v Miniuste Rossii 20.12.2010 №19261). http://psychiatr.ru/news/405 [in Russian]
2. McCoy L, Pettit RK, Lewis JH et al. Evaluating medical student engagement during virtual patient simulations: a sequential,mixed methods study. BMC Med Educ 2016; 16 (1): 20. Doi:10.1186/s12909-016-0530-7.
3. Симуляционное обучение в медицине. Под ред. А.А.Свистунова. Сост. М.Д.Горшков. М.: Изд-во ГБОУ ВПО Первый МГМУ им. И.М.Сеченова, 2013. / Simuliatsionnoe obuchenie v meditsine. Pod red. A.A.Svistunova. Sost. M.D.Gorshkov. M.: Izd-vo GBOU VPO Pervyi MGMU im. I.M.Sechenova, 2013. [in Russian]
4. Величковский Б.М. Когнитивная наука. Основы психологии познания. В 2 т. М.: Смысл, 2006. / Velichkovskii B.M. Kognitivnaia nauka. Osnovy psikhologii poznaniia. V 2 t. M.: Smysl, 2006. [in Russian]
5. Косырев В.Н. Психологическая модель диагностической компетентности врача. [Электронный ресурс]. Мед. психология в России: электрон. науч. журн. 2011; 1. http://medpsy.ru / Kosyrev V.N. Psikhologicheskaia model' diagnosticheskoi kompetentnosti vracha. [Elektronnyi resurs]. Med. psikhologiia v Rossii: elektron. nauch. zhurn. 2011; 1. http://medpsy.ru [in Russian]
6. Westen D. Прототипная диагностика психиатрических синдромов. (Prototype diagnosis of psychiatric syndromes). Пер. на рус. World Psychiatry 2012; 11 (1): 16–21. http://psychiatr.ru/magazine/wpa/15/266 / Westen D. Prototipnaia diagnostika psikhiatricheskikh sindromov. (Prototype diagnosis of psychiatric syndromes). Per. na rus. World Psychiatry 2012; 11 (1): 16–21. http://psychiatr.ru/magazine/wpa/15/266 [in Russian]
7. Циркин С.Ю. Симптомы и синдромы в клинической диагностике. Независимый психиатр. журн. 2009; 2: 26–30. / Tsirkin S.Iu. Simptomy i sindromy v klinicheskoi diagnostike. Nezavisimyi psikhiatr. zhurn. 2009; 2: 26–30. [in Russian]
8. Garb HN. Когнитивные и социальные факторы, влияющие на клинические суждения в практике психиатра (Cognitive and social factors influencing clinical judgment in psychiatric practice). Пер. на рус. World Psychiatry 2013; 12 (2): 108–10. http://psychiatr.ru/magazine/wpa/35/650 / Garb HN. Kognitivnye i sotsial'nye faktory, vliiaiushchie na klinicheskie suzhdeniia v praktike psikhiatra (Cognitive and social factors influencing clinical judgment in psychiatric practice). Per. na rus. World Psychiatry 2013; 12 (2): 108–10. http://psychiatr.ru/magazine/ wpa/35/650 [in Russian]
9. Maj M. Psychiatric diagnosis: pros and cons of prototypes vs. operational criteria. World Psychiatry 2011; 10 (2): 81–2.
10. First M. Практическая система для прототипной диагностики в психиатрии: клинические описания и диагностические указания МКБ-11 (A practical prototypic system for psychiatric diagnosis: the ICD-11 Clinical Descriptions and Diagnostic Guidelines). Пер. на рус. World Psychiatry 2012; 11 (1): 24–5. / First M. Prakticheskaia sistema dlia prototipnoi diagnostiki v psikhiatrii: klinicheskie opisaniia i diagnosticheskie ukazaniia MKB-11 (A practical prototypic system for psychiatric diagnosis: the ICD-11 Clinical Descriptions and Diagnostic Guidelines). Per. na rus. World Psychiatry 2012; 11 (1): 24–5. [in Russian]
11. Канеман Д. Думай медленно… Решай быстро. М.: АСТ, 2013. / Kaneman D. Dumai medlenno… Reshai bystro. M.: AST, 2013. [in Russian]
12. Табачников А.Е., Абдряхимова Ц.Б., Воробьев А.Н. Когнитивные ошибки при диагностике психических расстройств. Медична психологiя. 2010; 4: 36–41. / Tabachnikov A.E., Abdriakhimova Ts.B., Vorob'ev A.N. Kognitivnye oshibki pri diagnostike psikhicheskikh rasstroistv. Medichna psikhologiia. 2010; 4: 36–41. [in Russian]
13. Ясперc К. Общая психопатология. М.: Практика, 1997. / Iasperc K. Obshchaia psikhopatologiia. M.: Praktika, 1997. [in Russian]