Обзор был проведен междисциплинарной группой, в состав которой вошли исследователи в области общественного здравоохранения, гериатры и врачи-онкологи, использующие модели прогнозирования риска в своей клинической практике. Большинство членов группы также выступают в качестве рецензентов или редакторов научных журналов.
Исследователи пришли к неутешительному выводу: риск систематической ошибки был недопустимо высоким во всех проанализированных моделях, в основном из-за ненадлежащего обращения с непрерывными предикторами, одномерного выбора предикторов и недостаточного контроля переобучения.
Вот лишь несколько из выявленных проблем:
- Неправильная работа с данными: 65,6% моделей превращали непрерывные данные в категории. Например, вместо того чтобы использовать точный возраст (72 года, 78 лет, 81 год), они делили пациентов на группы типа «65–74» и «75–84».
- Заучивали данные вместо того, чтобы учиться: многие модели слишком хорошо подстраивались под те данные, на которых их создали, но плохо работали на новых пациентах.
- Игнорировали особенности пожилых: 55,2% моделей не включали ни одной гериатрической переменной, хотя именно они критически важны для прогноза у людей старше 65 лет.
- Не проверяли практическую пользу: 73,6% моделей не оценивали клиническую полезность, то есть не проверяли, поможет ли модель врачу принять лучшее решение в реальной жизни.
Из ограничений следует отметить, что из-за неоднородности экспертных знаний специалистов, участвовавших в скрининге, форма для извлечения данных была разработана таким образом, чтобы фиксировать термины, относящиеся к конкретной области оценки (например, оптимизм), только в том случае, если эти термины упоминались в публикации независимо от того, где именно они упоминались: в материалах и методах, в результатах или на рисунках.