Психиатрия Всемирная психиатрия
№02 2018
Надежность и воспроизводимость психопатологических сетей №02 2018
Номера страниц в выпуске:143-144
Сетевые подходы к психопатологии подразумевают, что психические расстройства порождаются взаимодействием симптомов в сетевой структуре1,2. В последние несколько лет статистические методы, которые оценивают сети, были разработаны и применены ко многим расстройствам3. По мере накопления эмпирических данных возникает вопрос об их надежности и воспроизводимости. В этой статье мы оцениваем состояние исследований психопатологических сетей по трем методологическим критериям: качество модели, точность и воспроизводимость.
Качество модели. Одно из важных качеств статистического моделирования – это его способность воссоздавать «истинную» модель, которая генерирует данные, что является необходимым условием для обоснования выводов, сделанных на основе сетевых моделей. Оценить эту способность можно с помощью: a) математического анализа, который доказывает, что методика воссоздает исходную сетевую модель (например, показывая, как с ростом выборки статистическая модель сближается с истинной моделью), и b) симуляционных исследований, в которых оценивается продуктивность метода в разных обстоятельствах (например, при разных сетевых структурах, размерах выборки, заданных параметрах).
Качество модели. Одно из важных качеств статистического моделирования – это его способность воссоздавать «истинную» модель, которая генерирует данные, что является необходимым условием для обоснования выводов, сделанных на основе сетевых моделей. Оценить эту способность можно с помощью: a) математического анализа, который доказывает, что методика воссоздает исходную сетевую модель (например, показывая, как с ростом выборки статистическая модель сближается с истинной моделью), и b) симуляционных исследований, в которых оценивается продуктивность метода в разных обстоятельствах (например, при разных сетевых структурах, размерах выборки, заданных параметрах).
Сетевые подходы к психопатологии подразумевают, что психические расстройства порождаются взаимодействием симптомов в сетевой структуре1,2. В последние несколько лет статистические методы, которые оценивают сети, были разработаны и применены ко многим расстройствам3. По мере накопления эмпирических данных возникает вопрос об их надежности и воспроизводимости. В этой статье мы оцениваем состояние исследований психопатологических сетей по трем методологическим критериям: качество модели, точность и воспроизводимость.
Качество модели. Одно из важных качеств статистического моделирования – это его способность воссоздавать «истинную» модель, которая генерирует данные, что является необходимым условием для обоснования выводов, сделанных на основе сетевых моделей. Оценить эту способность можно с помощью: a) математического анализа, который доказывает, что методика воссоздает исходную сетевую модель (например, показывая, как с ростом выборки статистическая модель сближается с истинной моделью), и b) симуляционных исследований, в которых оценивается продуктивность метода в разных обстоятельствах (например, при разных сетевых структурах, размерах выборки, заданных параметрах).
Используемые современные сетевые методики (т. е. парные марковские сети4) прошли проверку математическим анализом и симуляционными исследованиями5,6: они эффективно воссоздают «истинную» модель, лежащую в основе собираемых данных. В целом, такие методики минимизируют ложноположительные результаты за счет статистической мощности, поэтому они скорее пропустят «истинные» сетевые связи, чем включат в расчет ложные связи5,6. Таким образом, эти методики являются проверенным, консервативным инструментом для оценки психопатологических сетевых структур.
Точность и надежность. После того как исследователь, используя проверенную методологию, выявил в эмпирических данных сетевую структуру, возникает вопрос: насколько точны оценки параметров, насколько надежны полученные результаты? Например, если связь между самооценкой и суицидальными идеями видится более сильной, чем связь между суицидальными идеями и проблемами со сном, то нужно определить, достаточно ли точно проведена оценка параметров для того, чтобы делать определенные выводы. Если нет, то результат не будет воспроизводиться в другой выборке.
Точность оценки сетевых параметров может значительно варьировать в зависимости от таких факторов, как размер выборки, размер сети и структура сети. Поэтому такие факторы необходимо оценивать и фиксировать в каждом отдельном случае, анализируя статистическую точность оценки параметров (например, с помощью доверительных интервалов) и надежность модели в целом (к примеру, рассматривая сетевые структуры в подвыборках).
Недавно стала доступна специальная бесплатная методология4, которая позволяет исследователям фиксировать доверительные интервалы для оцениваемых параметров сети, включая их в набор полученных результатов. Эта практика была быстро освоена сообществом исследователей психопатологических сетей, которые теперь публикуют свои работы с описанием проверки их надежности. Естественно, результаты такой проверки накладывают на исследователя ограничения, пропорциональные содержанию выводов, которые он делает: более сильные заявления (например: «Бессонница – это центральная точка в сети депрессии») требуют более сильных доказательств в сравнении с менее сильными утверждениями (например: «Бессонница связана с сетью депрессии»).
Воспроизводимость. Когда анализ сети подтверждает эмпирический вывод (например, определенный симптом является центральным или одна сеть связана компактнее, чем другая), следующий вопрос – можно ли воспроизвести это явление в других выборках. В идеале работа по воспроизведению должна отличаться от оригинального исследования только в тех моментах, которые считаются иррелевантными по отношению к исследуемому явлению (например, использование другой выборки, сделанной в той же популяции). Но часто остается неясным, является ли релевантной разница между оригинальным исследованием и исследованием, его воспроизводящим. Например, сложно представить, что речь идет об одной и той же сети в выборке, составленной из всех представителей сообщества, и в выборке, составленной из пациентов. В таких случаях исследуется не только воспроизводимость исследования, но и возможность обобщить его выводы. Следовательно, если возникают противоречивые результаты, это может быть вызвано либо тем, что описываемое явление нестабильно или иллюзорно (т. е. исследование невоспроизводимо), либо тем, что между исследованиями есть существенные различия (т. е. выводы оригинального исследования неприменимы к контексту нового исследования). Напротив, если эмпирический феномен описывается в разных исследованиях без противоречий, это говорит о том, что выводы исследований воспроизводимы и могут быть обобщены7.
Несколько недавних исследований были посвящены воспроизводимости сетей. Создается впечатление, что сетевые структуры могут быть хорошо воспроизведены и обобщены. Например, сети симптомов большого депрессивного расстройства и генерализованного тревожного расстройства почти идентичны в США и в Австралии; сети посттравматического стрессового расстройства (ПТСР) схожи в разных популяциях и в группах с разными источниками травматического опыта; сети большого депрессивного расстройства не зависят от факторов среды и наследственности (например, от возраста начала болезни)7,8.
Хотя сетевые структуры могут быть воспроизведены и обобщены, детальные выводы на их основе варьируют в разных исследованиях. Так, в сетях ПТСР центральные точки могут быть разными, а разница в плотности связей в сетях большого депрессивного расстройства у достигших ремиссии и при сохраняющейся депрессии у взрослых не была полностью воспроизведена в выборке с подростками8. Дальнейшие исследования должны прояснить, связаны ли такие противоречия с невозможностью воспроизведения или невозможностью обобщения с переносом в другой контекст.
Итак, качество методик анализа сетей – высокое, а точность и надежность исследований сетей теперь можно адекватно оценить с помощью доступных методологических инструментов. Развивающиеся исследования воспроизводимости показывают, что структура сетей, как правило, одинакова во всех исследованиях, в то время как выводы, основанные на этих структурах (например, о центральной роли того или иного симптома), иногда бывают неоднозначными.
Анализ сетей – это многообещающий подход, способный привести к значительному продвижению вперед в изучении и лечении психических расстройств9, однако исследователям нужно с осторожностью делать выводы о причинно-следственных связях, основываясь на анализе сетей, поскольку причинно-следственные связи в моделях остаются неизученными. Оценка надежности и воспроизводимости – это важный шаг, на котором следует сконцентрировать исследовательские усилия в ближайшие годы.
.
Перевод: Филиппов Д.С. (Санкт-Петербург)
Редактура: к.м.н. Чумаков Е.М. (Санкт-Петербург)
(World Psychiatry 2018;17(2):143-144)
DOI:10.1002/wps.20515
Качество модели. Одно из важных качеств статистического моделирования – это его способность воссоздавать «истинную» модель, которая генерирует данные, что является необходимым условием для обоснования выводов, сделанных на основе сетевых моделей. Оценить эту способность можно с помощью: a) математического анализа, который доказывает, что методика воссоздает исходную сетевую модель (например, показывая, как с ростом выборки статистическая модель сближается с истинной моделью), и b) симуляционных исследований, в которых оценивается продуктивность метода в разных обстоятельствах (например, при разных сетевых структурах, размерах выборки, заданных параметрах).
Используемые современные сетевые методики (т. е. парные марковские сети4) прошли проверку математическим анализом и симуляционными исследованиями5,6: они эффективно воссоздают «истинную» модель, лежащую в основе собираемых данных. В целом, такие методики минимизируют ложноположительные результаты за счет статистической мощности, поэтому они скорее пропустят «истинные» сетевые связи, чем включат в расчет ложные связи5,6. Таким образом, эти методики являются проверенным, консервативным инструментом для оценки психопатологических сетевых структур.
Точность и надежность. После того как исследователь, используя проверенную методологию, выявил в эмпирических данных сетевую структуру, возникает вопрос: насколько точны оценки параметров, насколько надежны полученные результаты? Например, если связь между самооценкой и суицидальными идеями видится более сильной, чем связь между суицидальными идеями и проблемами со сном, то нужно определить, достаточно ли точно проведена оценка параметров для того, чтобы делать определенные выводы. Если нет, то результат не будет воспроизводиться в другой выборке.
Точность оценки сетевых параметров может значительно варьировать в зависимости от таких факторов, как размер выборки, размер сети и структура сети. Поэтому такие факторы необходимо оценивать и фиксировать в каждом отдельном случае, анализируя статистическую точность оценки параметров (например, с помощью доверительных интервалов) и надежность модели в целом (к примеру, рассматривая сетевые структуры в подвыборках).
Недавно стала доступна специальная бесплатная методология4, которая позволяет исследователям фиксировать доверительные интервалы для оцениваемых параметров сети, включая их в набор полученных результатов. Эта практика была быстро освоена сообществом исследователей психопатологических сетей, которые теперь публикуют свои работы с описанием проверки их надежности. Естественно, результаты такой проверки накладывают на исследователя ограничения, пропорциональные содержанию выводов, которые он делает: более сильные заявления (например: «Бессонница – это центральная точка в сети депрессии») требуют более сильных доказательств в сравнении с менее сильными утверждениями (например: «Бессонница связана с сетью депрессии»).
Воспроизводимость. Когда анализ сети подтверждает эмпирический вывод (например, определенный симптом является центральным или одна сеть связана компактнее, чем другая), следующий вопрос – можно ли воспроизвести это явление в других выборках. В идеале работа по воспроизведению должна отличаться от оригинального исследования только в тех моментах, которые считаются иррелевантными по отношению к исследуемому явлению (например, использование другой выборки, сделанной в той же популяции). Но часто остается неясным, является ли релевантной разница между оригинальным исследованием и исследованием, его воспроизводящим. Например, сложно представить, что речь идет об одной и той же сети в выборке, составленной из всех представителей сообщества, и в выборке, составленной из пациентов. В таких случаях исследуется не только воспроизводимость исследования, но и возможность обобщить его выводы. Следовательно, если возникают противоречивые результаты, это может быть вызвано либо тем, что описываемое явление нестабильно или иллюзорно (т. е. исследование невоспроизводимо), либо тем, что между исследованиями есть существенные различия (т. е. выводы оригинального исследования неприменимы к контексту нового исследования). Напротив, если эмпирический феномен описывается в разных исследованиях без противоречий, это говорит о том, что выводы исследований воспроизводимы и могут быть обобщены7.
Несколько недавних исследований были посвящены воспроизводимости сетей. Создается впечатление, что сетевые структуры могут быть хорошо воспроизведены и обобщены. Например, сети симптомов большого депрессивного расстройства и генерализованного тревожного расстройства почти идентичны в США и в Австралии; сети посттравматического стрессового расстройства (ПТСР) схожи в разных популяциях и в группах с разными источниками травматического опыта; сети большого депрессивного расстройства не зависят от факторов среды и наследственности (например, от возраста начала болезни)7,8.
Хотя сетевые структуры могут быть воспроизведены и обобщены, детальные выводы на их основе варьируют в разных исследованиях. Так, в сетях ПТСР центральные точки могут быть разными, а разница в плотности связей в сетях большого депрессивного расстройства у достигших ремиссии и при сохраняющейся депрессии у взрослых не была полностью воспроизведена в выборке с подростками8. Дальнейшие исследования должны прояснить, связаны ли такие противоречия с невозможностью воспроизведения или невозможностью обобщения с переносом в другой контекст.
Итак, качество методик анализа сетей – высокое, а точность и надежность исследований сетей теперь можно адекватно оценить с помощью доступных методологических инструментов. Развивающиеся исследования воспроизводимости показывают, что структура сетей, как правило, одинакова во всех исследованиях, в то время как выводы, основанные на этих структурах (например, о центральной роли того или иного симптома), иногда бывают неоднозначными.
Анализ сетей – это многообещающий подход, способный привести к значительному продвижению вперед в изучении и лечении психических расстройств9, однако исследователям нужно с осторожностью делать выводы о причинно-следственных связях, основываясь на анализе сетей, поскольку причинно-следственные связи в моделях остаются неизученными. Оценка надежности и воспроизводимости – это важный шаг, на котором следует сконцентрировать исследовательские усилия в ближайшие годы.
.
Перевод: Филиппов Д.С. (Санкт-Петербург)
Редактура: к.м.н. Чумаков Е.М. (Санкт-Петербург)
(World Psychiatry 2018;17(2):143-144)
DOI:10.1002/wps.20515
Список исп. литературыСкрыть список1. Borsboom D. World Psychiatry 2017;16:5-13.
2. Cramer AOJ, van Borkulo CD, Giltay EJ et al. PLoS One 2016;11:e0167490.
3. Fried EI, van Borkulo CD, Cramer AOJ et al. Soc Psychiatry Psychiatr Epidemiol 2017;52:1-10.
4. Epskamp S, Borsboom D, Fried EI. Behav Res Methods 2018;50:195-212.
5. Buhlmann P, van de Geer S. Statistics for high-dimensional data: methods, theory and applications. Berlin: Springer, 2011.
6. Van Borkulo CD, Borsboom D, Epskamp S et al. Sci Rep 2014;4:5918.
7. Borsboom D, Fried EI, Epskamp S et al. J Abnorm Psychol 2017;126:989-99.
8. Fried EI. http://psych-networks.com/7-new-papers-network-replicability/.
9. McNally RJ. Behav Res Ther 2016;86:95-104.