Психиатрия Психиатрия и психофармакотерапия им. П.Б. Ганнушкина
№01 2008

Решения медицинских работников основываются на понимании опубликованных результатов клинических испытаний. При недостаточной доказательности фактов решения, сделанные на основе таких данных, не могут быть оптимальными. Например, избирательная публикация данных клинических испытаний, а также результаты лечения при проведении этих исследований позволяют сделать неадекватные выводы об эффективности лекарственных препаратов, не соответствующие действительности, и изменить показатель соотношения пользы и риска.
Попытки изучения избирательной публикации затруднены в связи с отсутствием информации, полученной в ходе клинических испытаний, результаты которых не были опубликованы. Исследователи выявили факт избирательной публикации при сравнении результатов опубликованных клинических испытаний с данными, полученными в ходе исследований, проводимых авторами, регистрационными службами, наблюдательными комитетами учреждений, организациями-спонсорами, а также даже с результатами, полученными с помощью опубликованных методов. Имеются многочисленные тесты, позволяющие выявлять определенные ошибки, связанные с отбором и представлением информации, однако ни один из них не обеспечивает надежное обнаружение ошибки, обусловленное исключением данных.
В Соединенных Штатах Америки Администрацией по контролю за продуктами питания и лекарствами (FDA) созданы реестр и база данных, содержащая результаты исследований. Компании, занимающиеся разработкой лекарственных средств, должны регистрировать в FDA все клинические испытания, планируемые для подтверждения заявки на получение одобрения продажи препарата или вносимых в маркировку изменений. FDA использует такую информацию для создания таблицы, в которой перечисляются все исследования. В протоколах клинических испытаний, внесенных в эту базу данных, должна быть представлена проспективная характеристика всех точных методов, которые будут использоваться для сбора и анализа информации. После этого в рамках заявки на получение одобрения продаж препарата спонсоры должны сообщать о результатах, полученных в ходе применения принятых методов исследования. Такие данные, подаваемые на рассмотрение, включают предварительную информацию, которую статисты FDA используют при проведении процедур подтверждающего анализа. Такая система препятствует в дальнейшем избранной презентации благоприятных результатов клинических испытаний и исходов, достигнутых в ходе таких исследований.
Насколько же точно опубликованные результаты отражают данные об эффективности лекарственных препаратов, которые представляются медицинской общественности? Для получения ответа на этот вопрос мы сравнили данные литературы об эффективности лекарственных средств с данными об эффективности, представленными в обзорах, подготовленных FDA.

Методы исследования
Данные, полученные из подготовленных FDA обзоров
Нами найдена информация о программах по проведению клинических испытаний 2-й и 3-й фаз с целью изучения 12 антидепрессантов, которые были одобрены FDA в период с 1987 по 2004 г. (медиана – август 1996 г.). В этих исследованиях участвовали 12 564 взрослых пациента. В отношении 8 антидепрессантов старшего поколения в нашем распоряжении были копии обзоров статистического анализа и медицинских данных, которые предоставлены сотрудниками, получившими эти данные согласно Закону о свободе информации. Обзоры, посвященные 4 антидепрессантам нового поколения, представлены на Интернет-странице FDA. Это исследование одобрено Комитетом по научным исследованиям и разработкам Медицинского центра в г. Портланде по работе с бывшими военнослужащими. Учитывая характер исследования, информированное согласие каждого пациента не требовалось.
Из обзоров FDA, посвященных представленным клиническим испытаниям, мы извлекли данные об эффективности лекарственных препаратов, полученные в ходе всех рандомизированных, проводимых двойным слепым методом, контролируемых плацебо клинических испытаний препаратов, используемых в краткосрочной терапии депрессии. Мы включали только данные, полученные при применении тех дозировок, которые в дальнейшем достоверно зарекомендовали себя как безопасные и эффективные: данные, касающиеся других дозировок, нами исключались.
Нами были отобраны решения FDA законодательного характера, т.е. для регистрационных целей исследования расценивались как положительные или отрицательные, с учетом предполагаемых основных исходов (или целевых критериев оценки). Нами рассматривались как сомнительные исследования, результаты которых не были расценены FDA ни как отрицательные, ни как положительные, т.е. исследования, в ходе которых не было получено достоверных клинических данных в отношении основного исхода, однако были получены достоверные результаты в отношении некоторых второстепенных целевых критериев оценки. Исследования, потерпевшие неудачу, также были отнесены к категории сомнительных (более подробная информация представлена в разделе "Методы исследования" в приложении, которое представлено вместе с полным текстом данной статьи по Интернет-адресу: www.nejm.org). В отношении исследований, проводимых с оценкой фиксированных доз лекарственного препарата (т.е. случайно распределенные по группам пациенты получали одну дозу и более препарата и плацебо), результаты которых, полученные при введении одних дозировок, являются достоверными, а других – недостоверными, мы учитывали общие официальные заключения FDA. Нами применялся двойной метод извлечения и введения данных, что подробно обсуждается в разделе "Методы исследования" в дополнительном приложении.

Данные, полученные из опубликованных в журналах статей
Алгоритм нашего поиска данных среди литературных публикаций предполагал следующие этапы: поиск статей с помощью системы PubMed, поиск среди ссылок, прилагаемых к обзорным статьям, а также поиск в Централизованной базе данных Кохрейна по контролируемым клиническим испытаниям; контакт по телефону или электронной почте с медицинским информационным подразделением спонсора по лекарственным препаратам и с указанным подразделением спонсора посредством заказных писем с указанием крайнего срока для письменного ответа на наш запрос о том, были ли опубликованы результаты конкретного исследования. Если в процессе поиска не удавалось выявить публикации, мы делали заключение о том, что результаты исследования не опубликованы.
Наибольшее соответствие между клиническими испытаниями, рассматриваемыми FDA, и статьями, опубликованными в журналах, выявлено на основе названий лекарственных препаратов, терапевтических групп, размера выборки, активного препарата сравнения (если таковой применялся), продолжительности применения, а также имени главного исследователя. Мы проводили поиск с целью обнаружения опубликованных отчетов о результатах отдельных исследований. Статьи, представляющие собой обзоры результатов разных исследований, исключались. В случаях если результаты клинического испытания были опубликованы в двух статьях и более, мы отбирали самую первую публикацию.
В некоторых журнальных статьях использовался термин "основной целевой критерий оценки эффективности" или его обоснованный эквивалент. Таким образом, мы определяли очевидную эффективность препарата или результат, который был представлен наиболее существенно, в виде данных при сравнении лекарственного препарата и плацебо, приведенных в тексте, в разделе, посвященном результатам, а также в таблицах или на рисунках. Как и в отношении обзоров FDA, мы применяли двойной метод извлечения и введения данных (см. раздел "Методы исследования" в дополнительном приложении, в котором представлена более подробная информация).

Статистический анализ
Мы классифицировали клинические испытания на основе решений FDA законодательного характера, наличия или отсутствия публикации результатов клинического испытания, а также в зависимости от того, соответствуют или противоречат достигнутые исходы целевого параметра оценки заключению FDA. Нами были рассчитаны показатели соотношения риска и точные 95% доверительные интервалы (ДИ), а также проведен анализ с помощью критерия c2 Пирсона с использованием программы "Stata 8.0". Мы применяли аналогичный метод для определения числа пациентов, участвовавших в исследованиях. Сопоставлялись данные о размерах выборок в рамках опубликованных и неопубликованных исследований, при этом использовался критерий рангового суммирования Вилкоксона.
Что касается основного показателя исхода, мы рассчитали размер эффекта для каждого клинического испытания с использованием значения g Хеджеса (показатель различий между двумя средними значениями, деленными на объединенный их показатель стандартного отклонения). Однако в связи с тем что средние значения и стандартные отклонения (или стандартные ошибки) не всегда были представлены как в отчетах FDA, так и в статьях, нами использовалась алгебраически эквивалентная расчетная формула:

Нами был вычислен статистический показатель t с использованием точного значения р и комбинированный показатель размера выборки в качестве аргументов функции TINV (обратная Т) версии "Microsoft Excel" путем умножения на -1, когда исследуемый лекарственный препарат уступал плацебо. Коррекция по Хеджесу при незначительной выборке осуществлялась применительно ко всем значением g.
Точные значения р имелись не во всех случаях для указанных расчетов. Часто было указано лишь то, что значение р ниже того или иного порогового показателя или превышает его (например, p<0,05), или "недостоверно" (т.е. p>0,05). В таких случаях мы осуществляли процедуру, которая представлена в приложении.
Для каждого исследования, проводимого с оценкой фиксированной дозы (различных дозировок), рассчитывали единственный показатель размера эффекта в рамках конкретного клинического испытания, определяемого по степени независимости для каждой группы доз. На основе значений размера эффекта в рамках конкретного исследования в отношении клинических испытаний по оценке как фиксированной дозы, так и гибкого режима дозирования, для каждого лекарственного средства, а также для всех препаратов вычисляли средневзвешенные показатели размера эффекта, при этом использовали модель случайных эффектов и применяли метод Дер-Симоняна и Лэйрда в рамках программы "Stata".
В рамках опубликованных исследований мы сравнивали показатели эффекта, указанные в журнальных статьях, с таковыми, представленными в отчетах FDA. В дальнейшем в пределах базы данных FDA нами сопоставлялись показатели эффекта для неопубликованных и опубликованных исследований. Также проводили сравнительный анализ показателей эффекта, приведенных в журнальных публикациях, с таковыми, представленными в базе данных FDA, т.е. для опубликованных и неопубликованных исследований.
Такие процедуры сравнения нами выполнялись на уровне исследований и на уровне изучения 12 лекарственных препаратов. Так как данные не подчинялись нормальному закону распределения, мы применяли непараметрический критерий рангового суммирования в отношении непарных наблюдений. В рамках этих процедур анализа всем показателям размера эффекта придавалось одинаковое значение.

Результаты исследования
Исход исследования и статус публикации. Нам не удалось подтвердить факт публикации 23 (31%) из 74 зарегистрированных FDA исследований (см. таблицу). Показатель различий между размерами выборок опубликованных исследований (медиана – 153 больных) и неопубликованных исследований (медиана – 146 больных) не являлся ни значительным, ни статистически достоверным (различия между медианными значениями составили 5%; p=0,29; критерий рангового суммирования).
Ответы на вопросы о том, были ли результаты исследования опубликованы, и если да, то каким образом они были представлены, в значительной степени коррелировали с общими их исходами. FDA одобрила проведение 38 (51%), из которых результаты 37 были опубликованы. Остальные 36 (49%) исследований были отклонены или признаны сомнительными (24 и 12 исследований соответственно). Из этих 36 исследований результаты 3 клинических испытаний опубликованы как неодобренные, в то время как данные остальных 33 исследований или не  опубликованы (22 клинических испытания), или были опубликованы, с нашей точки зрения, как положительные (11 исследований), что, таким образом, противоречило заключению FDA. В целом вероятность публикации данных исследований, расцененных как положительные, в соответствии с результатами анализа, проведенного FDA, в 12 раз превышала таковую для исследований, исходы которых не были расценены FDA как положительные (показатель соотношения рисков: 11,7; 95% ДИ: 6,2–22,0; p<0,001). Такая взаимосвязь статуса публикации с исходом исследования оставалась достоверной после исключения сомнительных исследований, а также после оценки статуса публикации независимо от того, соответствовали ли опубликованные выводы заключениям, сделанным FDA (подробная информация представлена в приложении).
В целом 48 из 51 опубликованного исследования были расценены как положительные (94%; биномиальный ДИ 84–99). Согласно FDA 38 из 74 зарегистрированных клинических испытаний были одобрены (51%; 95% ДИ 39–63). Указанные ДИ не перекрывались друг с другом.
Эти данные представлены на рис. 2, А в зависимости от лекарственного препарата и номера исследования. В отношении каждого из 12 лекарственных средств результаты как минимум одного исследования или не были опубликованы, или были представлены в литературе как положительные, несмотря на противоречивое заключение FDA.

Количество участников исследования
Как показано в таблице, в клинических испытаниях в целом участвовали 12 564 больных. Данные, полученные по 3449 (27%) больным, не опубликованы. Данные о дополнительных 1843 (15%) больных представлены в журнальных статьях, выводы, сделанные в рамках которых, противоречили основному целевому критерию, предварительно заданному FDA.
Факт соответствия представления данных по больному в согласии с обзором FDA связывал с исходом исследования , что совпадало с вышеуказанными результатами, полученным при проведении анализа по исследованиям.

Качественное описание избирательных сообщений в рамках клинических испытаний
Методы, представленные в 11 журнальных статьях, как оказалось, не соответствуют предварительно заданным, указанным в обзорах FDA . Несмотря на то что в рамках каждого из этих исследований результаты, полученные в отношении основного исхода, предусмотренного протоколом, не являлись статистически значимыми, в каждой публикации речь шла о положительном результате как о полученном в отношении данного исхода. Недостоверные данные о заранее заданных основных исходах представлены в виде положительных результатов в отношении второстепенных критериев оценки (2 отчета) или не приведены (9 случаев). (

Размер эффекта
Показатели размера эффекта, полученные из журнальных статей, как правило, превышали содержащиеся в обзорах FDA. Различия между этими группами показателей оказались статистически значимыми при проведении анализа на уровне исследований (p=0,003) или лекарственных препаратов (p=0,012.
Сравнение показателей эффекта в рамках опубликованных и неопубликованных исследований, рассмотренных FDA, представлено на рис. 3, A. Общее средневзвешенное значение размера эффекта составило 0,37 (95% ДИ 0,33–0,41) для опубликованных и 0,15 (95% ДИ 0,08–0,22) для неопубликованных исследований. Различия оказались достоверными при проведении анализа на уровне как исследований (p<0,001), так и лекарственных препаратов (p=0,005.
Сопоставление средних значений размера эффекта для всех исследований, проанализированных FDA, как опубликованных, так и неопубликованных, с таковыми для всех опубликованных клинических испытаний представлено на рис. 3, Б. Опять же различия оказались достоверными при проведении анализа на уровне как исследований (p<0,001), так и лекарственных препаратов (p=0,002).
В отношении каждого из 12 лекарственных препаратов размер эффекта, представленный в журнальных статьях, превышал таковой, приведенный в обзорах FDA (знаковый критерий, p<0,001) (см. рис. 3, Б). Степень увеличения размера эффекта при сравнении данных, представленных в обзорах FDA и в опубликованных отчетах, варьировала от 11 до 69%, при этом медианный показатель нарастания составил 32%. Увеличение на 32% также наблюдалось в отношении средневзвешенного размера эффекта для всех лекарственных препаратов вместе: с 0,31 (95% ДИ 0,27–0,35) до 0,41 (95% ДИ 0,36–0,45).

Обсуждение
Нами была выявлена ошибка в публикации положительных результатов. Это означает не только то, что с большей вероятностью публиковались именно положительные результаты исследований, но и то, что, с нашей точки зрения, результаты, не расцененные как положительные, часто были представлены так, что можно было сделать заключение о благоприятном исходе. Мы провели анализ этих данных по таким параметрам, как доля исследований с положительными результатами, а также размер эффекта, наблюдаемый на фоне лечения лекарственным препаратом. С помощью этих двух подходов нам удалось определить, что эффективность оцениваемого класса лекарственных средств является менее значительной, чем можно заключить на основе только литературных публикаций. Согласно этим опубликованным данным, результаты почти всех клинических испытаний, целью которых являлось изучение антидепрессантов, положительные. Также в ходе анализа данных клинических испытаний, выполненного FDA, выявлено, что положительные результаты были получены при проведении приблизительно половины клинических испытаний. Статистическая значимость результатов исследования в значительной степени коррелировала с наличием публикации и с тем, каким образом они были представлены, при этом такая взаимосвязь не зависела от размера выборки. Исход исследования также оказывал влияние на вероятность того, будут ли опубликованы данные, полученные по тому или иному участнику клинического испытания. В результате избирательного представления данных в публикациях размер эффекта приблизительно на 1/3 превышает таковой, полученный FDA.
В рамках предшествующих исследований проводилась оценка соотношения пользы и риска на фоне применения лекарственных средств после объединения данных, предоставленных распорядительными органами, с данными, опубликованными в журналах. Мы основывались на этом подходе при сравнении данных исследований, полученных FDA, и соответствующей опубликованной информации. Такой сравнительный метод позволил нам количественно определить, насколько избирательная публикация данных искажает фактическую эффективность лекарственного препарата.
Полученные нами результаты имеют ограничения: они касаются только антидепрессантов, имеют отношение только к клиническим испытаниям, зарегистрированным в FDA и финансируемым спонсорами-производителями препаратов. При этом речь идет об идеальной (теоретической) эффективности (в отличие от реальной эффективности, т.е. эффективности на фоне практического применения). В рамках нашего исследования не учитывались другие факторы, которые могут влиять на соотношение пользы и риска, – избирательная публикация данных по безопасности, что было отмечено в отношении рофекоксиба (Виокс, "Мерк"), а также применение селективных ингибиторов обратного захвата серотонина при лечении пациентов детского возраста. В связи с тем что нами исключались публикации, посвященные нескольким исследованиям, мы, по-видимому, могли отнести к неопубликованным некоторые клинические испытания, результаты которых появились в печати. Выявлено, что объединение исследований с отрицательными и положительными результатами в рамках одной опубликованной статьи приводит к двойной или множественной публикации и также может оказывать влияние на показатель соотношения пользы и риска.
Результаты того или иного исследования могут быть не опубликованы по различным причинами, которые не всегда можно установить. Таким образом, мы не может точно определить, является ли имеющее место искажение фактических данных следствием того, что авторы или спонсоры не предоставили соответствующей информации, отказа редакторов журналов и рецензентов в публикации предоставленных данных, или результатом обеих указанных причин.
Следует подчеркнуть, что отсутствие статистической достоверности результатов единичного клинического испытания не обязательно свидетельствует об отсутствии эффективности. В ходе метаанализа выявлено, что каждый лекарственный препарат превосходит плацебо. Однако фактическая степень преобладания каждого лекарственного средства над плацебо являлась менее выраженной, чем могло быть указано в тщательно подготовленном обзоре литературы.
Мы не имеем в виду, что основные методы, согласованные между спонсорами и FDA, являются предпочтительными. Тем не менее при проведении множественных процедур анализа принцип, предполагающий использование предварительно заданных параметров, позволяет контролировать частоту ложноположительных результатов (ошибка 1-го типа) и не позволяет выдвигать гипотезы после того, как уже получены результаты (HARKing – Hypothesizing After the Results are Known).
Можно возразить, что некоторые клинические испытания не заслуживают публикации в связи с недостатками методологического характера, включая проблемы, которые не подлежать контролю со стороны исследователя. Однако если учитывать, что протоколы разрабатываются в соответствии с международными практическими руководствами по проведению исследований, направленных на оценку эффективности, и исследования проводятся компаниями, имеющими соответствующие кадровые и финансовые ресурсы и несущими ответственность за пациентов, подвергающихся риску в ходе участия в исследовании, есть основания предположить, что для отказа в публикации должны быть весьма серьезные причины.
Избирательное представление результатов лишает исследователей точных данных, в которых они нуждаются для определения фактического размера эффекта. Завышенные показатели эффективности приводят к неадекватному определению размера выборки, необходимого для достижения статистической значимости. Проведение исследований, характеризующихся недостаточной статистической мощностью, а также в целом избирательная публикация клинических испытаний, – это бесполезная трата ресурсов, а также усилий исследователей и участников клинических испытаний. Избирательная публикация результатов, искажающая соотношение пользы и риска, может способствовать тому, что врачи будут принимать неправильные решения при назначении лекарственных препаратов, что вряд ли принесет пользу их больным и, следовательно, общественному здравоохранению.

New England Journal of Medicine 2008; 358: 3.