Психиатрия Всемирная психиатрия
№03 2021
Выборочная отчетность о результатах и эффективности психотерапии депрессии №03 2021
Номера страниц в выпуске:444-445
Только 40% исследований по психотерапии депрессии, опубликованных в период с 2015 по 2018 г., были проспективно зарегистрированы, а расхождения между публикациями и протоколами были отмечены в 76% зарегистрированных исследований .
Только 40% исследований по психотерапии депрессии, опубликованных в период с 2015 по 2018 г., были проспективно зарегистрированы, а расхождения между публикациями и протоколами были отмечены в 76% зарегистрированных исследований 1 . Часто предполагается, что подобные расхождения являются результатом намеренного выбора статистически значимых результатов («выборочная отчетность»). Однако расхождения могут быть вызваны другими причинами: обоснованными поправками по отношению протоколу, логистическими трудностями или небрежностью.
Обзор исследований, опубликованных в журналах по клинической психологии за 4 года 2 , выявил 27 проспективно зарегистрированных испытаний, из которых только 13 содержали четко указанные критерии первичной эффективности и временные точки для оценки. Среди этих 13 испытаний четыре содержали отклонения от протокола в пользу значимых результатов (по двум другим это было невозможно оценить). Однако трудно достоверно оценить распространенность и влияние выборочной отчетности по исследованиям таких небольших когорт испытаний. В связи с этим мы изучили различия в эффективности, связанные с выборочной отчетностью, в полной когорте проспективно зарегистрированных исследований по психотерапии депрессии.
Мы провели предварительно зарегистрированный обзор (PROSPERO: CRD42019136130) всех рандомизированных испытаний, сравнивающих психологические вмешательства с контролем при депрессии у взрослых, зарегистрированных после 1 июля 2005 г., когда требования к регистрации в журналах стали широко распространенными 3 . Мы выбирали испытания из регулярно обновляемого метаанализа психотерапевтических методов лечения депрессии (https://osf.io/825c6/), используя последнюю версию (1 января 2020 г.). Мы определили совпадающие регистрации по публикациям, поиску по ключевым словам в публичных реестрах, или, если это не удавалось, контактируя с исследователями.
Регистрация считалась проспективной, если она появлялась в течение 1-го месяца после начала регистрации. Для проспективно зарегистрированных испытаний с заранее заданными критериями эффективности и временными точками оценки мы оценивали изменения первичных исходов депрессии между реестрами и публикациями. Возможные несоответствия включали 4 : a) отсутствие зарегистрированного первичного результата (непредоставление данных); б) добавление нового, незарегистрированного первичного результата; в) понижение зарегистрированного первичного результата до вторичного; г) повышение статуса вторичного зарегистрированного результата до первичного; e) изменения момента времени оценки; е) изменения в методике анализа. Выборочная отчетность оценивалась по пунктам а) или б), а по другим несоответствиям – на основании заключения двух независимых исследователей.
Размер эффекта рассчитывался как стандартизованная разность средних (SMD) между вмешательством и контролем для первичных исходов депрессии после лечения или в момент времени, указанный как первичный, на основании данных из публикаций. Для данных о событиях (например, ответ, ремиссия) мы вычислили отношения шансов и преобразовали их в SMD 5 . Мы объединили размеры эффектов отдельно для исследований с выборочной отчетностью и без нее, используя устойчивое оценивание дисперсии (robust variance estimation) с весами (weights) из модели случайных эффектов, корректировку для небольшой выборки и предполагаемую корреляцию между всеми парами размеров наблюдаемых эффектов 0,8 6 . Анализ был проведен в Stata/SE 16.1.
Мы обнаружили, что из 353 рандомизированных контролируемых испытаний в когорте 185 начали регистрацию после июля 2005 г. Из них 142 (77%, 95% ДИ: 70–83%) были зарегистрированы. Семьдесят пять испытаний (40%, 95% ДИ: 33–48%) были зарегистрированы проспективно, 11 из которых (15%, 95% ДИ: 8–25%) без указания критериев эффективности или временных точек для оценки результат. Пятьдесят одно испытание (68%, 95% ДИ: 56–78%) не имело выборочной отчетности. Расхождения между реестрами и отчетами были выявлены в 19 из 75 (25%, 95% ДИ: 16–37%) исследований, из которых 13 (17%, 95% ДИ: 10–28%) были расценены как предполагающие выборочную отчетность. В шести испытаниях без зарегистрированных первичных исходов мы получили четыре ответа от исследователей, объяснивших, что критерий эффективности был исключен до начала сбора данных.
Суммарный размер эффекта составил -0,81 (95% ДИ: от -1,25 до -0,38, tau 2 = 0,22) для испытаний с выборочной отчетностью и -0,54 (95% ДИ: от -0,65 до -0,43, tau 2 = 0,10) для испытаний без нее. Когда анализ ограничивался исходами, зарегистрированными как первичные, размер эффекта в испытаниях с выборочной отчетностью был немного снижен до -0,75 (95% ДИ: от -1,21 до -0,29). И наоборот, исключение шести испытаний, в которых нет зарегистрированных первичных результатов, привело к значительному уменьшению размера эффекта для испытаний с выборочной отчетностью (SMD = -0,51, 95% ДИ: -0,83 до -0,19), что очень близко к результату для исследований без выборочной отчетности. Точно так же исключение четырех испытаний с добавленным незарегистрированным первичным исходом привело к снижению показателей (SMD = -0,62, 95%ДИ: от -1,00 до -0,24) в исследованиях с выборочной отчетностью. Наконец, анализы, ограниченные самоотчетами и неслепыми измерениями, показали существенно больший размер эффекта для испытаний с выборочной отчетностью (SMD = -1,02, 95% ДИ: от -1,66 до –0,38), но минимальные изменения для испытаний без нее (SMD = -0,57, 95% ДИ: от -0,69 до -0,44).
Наши результаты подтверждают предыдущие меньшие и более ограниченные исследования 1,2 , показывая, что даже после того, как многие журналы стали требовать отправку материалов предварительной регистрацией, проспективная регистрация осуществляется только в 40% исследований психотерапии депрессии. Среди проспективно зарегистрированных испытаний 25% показали расхождения между регистрацией и публикациями, а для 17% мы расценили эти расхождения как благоприятствующие статистической значимости. Несмотря на то, что их относительно немного, испытания с выборочной отчетностью были связаны со значительно большей эффективностью при объединении в метаанализ. Размеры эффекта различались на SMD 0,27 между испытаниями с выборочной отчетностью и без нее. Для справки, выборочная публикация исследований психотерапевтических средств от депрессии была связана с различиями в эффективности 0,32 7 . Испытания, в которых не сообщалось о зарегистрированных исходах или добавлялись незарегистрированные, стали основными факторами инфляции размера эффекта.
Эти данные предполагают, что отсутствие предварительной регистрации и расхождения между регистрацией и публикациями остаются обычным явлением в испытаниях психотерапии депрессии и связаны с увеличением размеров эффекта в этих испытаниях, что способствует неопределенности в оценке результатов психологических вмешательств 8,9 .
Примечания
Дополнительная информация об исследовании доступна на сайте https://doi.org/10.17605/OSF.IO/NBYW8.
Перевод: Мамедова Г.Ш. (г. Москва)
Редактура: к.м.н. Бойко А.С. (г. Томск)
Miguel C, Karyotaki E, Cuijpers P, Cristea I. Selective outcome reporting and the effectiveness of psychotherapies for depression. World Psychiatry. 2021;20(3):444-445.
DOI:10.1002/wps.20900
Обзор исследований, опубликованных в журналах по клинической психологии за 4 года 2 , выявил 27 проспективно зарегистрированных испытаний, из которых только 13 содержали четко указанные критерии первичной эффективности и временные точки для оценки. Среди этих 13 испытаний четыре содержали отклонения от протокола в пользу значимых результатов (по двум другим это было невозможно оценить). Однако трудно достоверно оценить распространенность и влияние выборочной отчетности по исследованиям таких небольших когорт испытаний. В связи с этим мы изучили различия в эффективности, связанные с выборочной отчетностью, в полной когорте проспективно зарегистрированных исследований по психотерапии депрессии.
Мы провели предварительно зарегистрированный обзор (PROSPERO: CRD42019136130) всех рандомизированных испытаний, сравнивающих психологические вмешательства с контролем при депрессии у взрослых, зарегистрированных после 1 июля 2005 г., когда требования к регистрации в журналах стали широко распространенными 3 . Мы выбирали испытания из регулярно обновляемого метаанализа психотерапевтических методов лечения депрессии (https://osf.io/825c6/), используя последнюю версию (1 января 2020 г.). Мы определили совпадающие регистрации по публикациям, поиску по ключевым словам в публичных реестрах, или, если это не удавалось, контактируя с исследователями.
Регистрация считалась проспективной, если она появлялась в течение 1-го месяца после начала регистрации. Для проспективно зарегистрированных испытаний с заранее заданными критериями эффективности и временными точками оценки мы оценивали изменения первичных исходов депрессии между реестрами и публикациями. Возможные несоответствия включали 4 : a) отсутствие зарегистрированного первичного результата (непредоставление данных); б) добавление нового, незарегистрированного первичного результата; в) понижение зарегистрированного первичного результата до вторичного; г) повышение статуса вторичного зарегистрированного результата до первичного; e) изменения момента времени оценки; е) изменения в методике анализа. Выборочная отчетность оценивалась по пунктам а) или б), а по другим несоответствиям – на основании заключения двух независимых исследователей.
Размер эффекта рассчитывался как стандартизованная разность средних (SMD) между вмешательством и контролем для первичных исходов депрессии после лечения или в момент времени, указанный как первичный, на основании данных из публикаций. Для данных о событиях (например, ответ, ремиссия) мы вычислили отношения шансов и преобразовали их в SMD 5 . Мы объединили размеры эффектов отдельно для исследований с выборочной отчетностью и без нее, используя устойчивое оценивание дисперсии (robust variance estimation) с весами (weights) из модели случайных эффектов, корректировку для небольшой выборки и предполагаемую корреляцию между всеми парами размеров наблюдаемых эффектов 0,8 6 . Анализ был проведен в Stata/SE 16.1.
Мы обнаружили, что из 353 рандомизированных контролируемых испытаний в когорте 185 начали регистрацию после июля 2005 г. Из них 142 (77%, 95% ДИ: 70–83%) были зарегистрированы. Семьдесят пять испытаний (40%, 95% ДИ: 33–48%) были зарегистрированы проспективно, 11 из которых (15%, 95% ДИ: 8–25%) без указания критериев эффективности или временных точек для оценки результат. Пятьдесят одно испытание (68%, 95% ДИ: 56–78%) не имело выборочной отчетности. Расхождения между реестрами и отчетами были выявлены в 19 из 75 (25%, 95% ДИ: 16–37%) исследований, из которых 13 (17%, 95% ДИ: 10–28%) были расценены как предполагающие выборочную отчетность. В шести испытаниях без зарегистрированных первичных исходов мы получили четыре ответа от исследователей, объяснивших, что критерий эффективности был исключен до начала сбора данных.
Суммарный размер эффекта составил -0,81 (95% ДИ: от -1,25 до -0,38, tau 2 = 0,22) для испытаний с выборочной отчетностью и -0,54 (95% ДИ: от -0,65 до -0,43, tau 2 = 0,10) для испытаний без нее. Когда анализ ограничивался исходами, зарегистрированными как первичные, размер эффекта в испытаниях с выборочной отчетностью был немного снижен до -0,75 (95% ДИ: от -1,21 до -0,29). И наоборот, исключение шести испытаний, в которых нет зарегистрированных первичных результатов, привело к значительному уменьшению размера эффекта для испытаний с выборочной отчетностью (SMD = -0,51, 95% ДИ: -0,83 до -0,19), что очень близко к результату для исследований без выборочной отчетности. Точно так же исключение четырех испытаний с добавленным незарегистрированным первичным исходом привело к снижению показателей (SMD = -0,62, 95%ДИ: от -1,00 до -0,24) в исследованиях с выборочной отчетностью. Наконец, анализы, ограниченные самоотчетами и неслепыми измерениями, показали существенно больший размер эффекта для испытаний с выборочной отчетностью (SMD = -1,02, 95% ДИ: от -1,66 до –0,38), но минимальные изменения для испытаний без нее (SMD = -0,57, 95% ДИ: от -0,69 до -0,44).
Наши результаты подтверждают предыдущие меньшие и более ограниченные исследования 1,2 , показывая, что даже после того, как многие журналы стали требовать отправку материалов предварительной регистрацией, проспективная регистрация осуществляется только в 40% исследований психотерапии депрессии. Среди проспективно зарегистрированных испытаний 25% показали расхождения между регистрацией и публикациями, а для 17% мы расценили эти расхождения как благоприятствующие статистической значимости. Несмотря на то, что их относительно немного, испытания с выборочной отчетностью были связаны со значительно большей эффективностью при объединении в метаанализ. Размеры эффекта различались на SMD 0,27 между испытаниями с выборочной отчетностью и без нее. Для справки, выборочная публикация исследований психотерапевтических средств от депрессии была связана с различиями в эффективности 0,32 7 . Испытания, в которых не сообщалось о зарегистрированных исходах или добавлялись незарегистрированные, стали основными факторами инфляции размера эффекта.
Эти данные предполагают, что отсутствие предварительной регистрации и расхождения между регистрацией и публикациями остаются обычным явлением в испытаниях психотерапии депрессии и связаны с увеличением размеров эффекта в этих испытаниях, что способствует неопределенности в оценке результатов психологических вмешательств 8,9 .
Примечания
Дополнительная информация об исследовании доступна на сайте https://doi.org/10.17605/OSF.IO/NBYW8.
Перевод: Мамедова Г.Ш. (г. Москва)
Редактура: к.м.н. Бойко А.С. (г. Томск)
Miguel C, Karyotaki E, Cuijpers P, Cristea I. Selective outcome reporting and the effectiveness of psychotherapies for depression. World Psychiatry. 2021;20(3):444-445.
DOI:10.1002/wps.20900
Список исп. литературыСкрыть список1. Stoll M, Mancini A, Hubenschmid L et al. J Clin Epidemiol 2020;128:49-56.
2. Bradley HA, Rucklidge JJ, Mulder RT. Acta Psychiatr Scand 2017;135:65-77.
3. De Angelis C, Drazen JM, Frizelle FA et al. N Engl J Med 2004;351:1250-1.
4. Chan A-W, Hróbjartsson A, Haahr MT et al. JAMA 2004;291:2457-65.
5. Chinn S. Stat Med 2000;19:3127-31.
6. Tipton E. Psychol Methods 2015;20:375-93.
7. Driessen E, Hollon SD, Bockting CLH et al. PLoS One 2015;10:e0137864.
8. Cuijpers P. World Psychiatry 2019;18:276-85.
9. Kendall T. World Psychiatry 2019;18:293-5.
1 октября 2021
Количество просмотров: 491