Как делаются рейтинги  

Вероятно, самыми известными сегодня являются рейтинги, составленные негосударственными структурами – Институтом экономики здравоохранения Высшей школы экономики, Высшей школой организации и управления здравоохранением, фондом «Здоровье». Они публикуют сводные данные, а иногда и научные статьи с обоснованием используемых методов. Эти организации называют свои оценки независимыми и сообщают, что не получают денег за работу с рейтингами.

Существуют и официальные оценки, но они, как правило, не общедоступны. Главный, подробнейший рейтинг амбулаторного звена «Независимая оценка качества условий оказания услуг медицинскими организациями» в течение ряда лет ведет Центральный НИИ организации и информатизации здравоохранения (ЦНИИОИЗ) Минздрава России. Его данные учитывают и используют федеральные и региональные органы управления здравоохранением.

Портал Medvestnik.ru попытался выяснить, чем руководствуются составители рейтингов. Но методы их оценочной работы оказались настолько несхожими, что прямое сравнение результатов оказалось невозможным. Несравнимы даже оценки состояния дел в здравоохранении регионов. Тем более не удастся выстроить «рейтинг рейтингов». На этом поле не существует ни рынка, ни конкуренции: единственным заказчиком выступает государство, а исполнители не готовы предложить ему сопоставимые продукты своей работы. Не сложились единые критерии отбора данных и выстраивания систем оценки, не хватает исходных статистических и социологических данных: их тоже собирают, а затем проверяют в основном государственные органы.

Поэтому мы предпочли дать слово самим исследователям, предложив описать, чем отличаются их принципы работы от принципов коллег. 

«Наши рейтинги ни на что ни влияют»

Лариса Попович, директор Института экономики здравоохранения ВШЭ

– Кто и зачем составляет рейтинги состояния здравоохранения? Учитывают ли их в системе здравоохранения?

– С системной точки зрения рейтинги – это инструмент либо информирования, либо управления. Они могут быть ориентированы на организаторов работы, тогда в их основу закладывают критерии, связанные с теми элементами, которые управленцы хотят улучшить.

В управленческих рейтингах есть четкая ориентация на целевые задачи государства. Например, важно повысить доступность медицинской помощи, снизив время доставки пациента до приемного отделения. Смотрим, каким оказывается это время в расчете на 100 км пути, кто отстает, кто лидер. Выясняем, почему так происходит и что нужно исправить. Есть международные управленческие рейтинги – сравнение стран по разным элементам организации помощи пациентам: например, смотрят, в каких странах врачи лучше объясняют пациентам ход лечения или как быстро попадает пациент к узкому специалисту. То же может делаться по регионам внутри страны, по медицинским учреждениям. Например, сейчас есть рейтинг вежливости регистратур, рейтинг доступности медпомощи.

Основным федеральным рейтингом управленческого характера является «Независимая оценка качества медицинской помощи», которая пока используется Министерством здравоохранения в основном в пиаровских целях. Формально она должна была стать управленческим рейтингом: здесь оцениваются и потребительские характеристики, и некоторые статистические данные. Но в результате здесь смешаны разные критерии, объективные и субъективные. Именно поэтому его сложно использовать для управления.

Есть рейтинги, которые выстраивают партии, общественные организации, СМИ. У них свои цели. Например, рейтинг регионов фонда «Здоровье»: сравнивалось отличие между тем, что запланировано в программе развития субъекта РФ, и тем, что достигнуто. Получалось, что те, кто планировал улучшение показателей относительно достигнутых, оказались в конце, а те, кто запланировал достичь того, что уже достигнуто, – в лидерах. Конечно, с точки зрения методологии оценки это неудачный рейтинг. Но с точки зрения оценки честности планирования – есть что обсуждать Народному фронту.

А еще есть потребительские рейтинги, включающие критерии, которые значимы для пациентов. Например, в Англии самым популярным оказывается рейтинг чистоты туалетов в больницах или рейтинг готовности персонала больниц помогать с питанием, когда пациент не может обслужить себя самостоятельно.

В России с 2005–2006 гг. используется рейтинговая система Федеральной службы охраны (ФСО), касающаяся удовлетворенности населения жизнью в регионе, хотя ее материалы в последнее время не предаются огласке. Она основана на опросах населения. Президенту все время сообщают об уровне удовлетворенности – правда, учитывается не только здравоохранение, но сфера социальных услуг вообще. Рейтинг по здравоохранению ведется постоянно, и удовлетворенность никогда не бывает выше 40%. Этот рейтинг скорее политический, потому что нельзя оценивать медицинское учреждение по ответу на вопрос: «Удовлетворены вы или нет?» Непонятно, что стоит за этим словом: попал пациент к врачу, не попал, ждал, не ждал… Но оценка региону уже выставлена.

– Есть ли отличия в задачах и методах, которые ставят перед собой составители рейтингов?

– Главное в любом рейтинге – понимать, для кого он предназначен и чего вы хотите достичь с его помощью. Если, например, вы выстраиваете врачей по росту и платите им зарплату в зависимости от этого, самые маленькие начнут носить платформы, чтобы казаться выше. Если ранжируете сотрудников клиник по уровню вежливости, они станут вежливыми с проверяющими – конечно, если вы будете это чем-то подкреплять. Если не подкрепить, толку от рейтинга не будет – ну да, посмотрели на свои результаты, пять минут позора, и пошли дальше.

– Что означает сформулированная Институтом экономики здравоохранения ВШЭ задача «постепенной гармонизации рейтинговых оценок в системе здравоохранения с мировыми практиками»? Насколько велик разрыв между российскими и мировыми подходами?

– Первый критерий любого межстранового рейтинга – стандартизация по международным показателям. У нас никто по ним не стандартизирован. Поэтому мы изначально не входим в эти рейтинги.

В мире много критериев оценки медорганизаций – например, по оснащенности. Есть рейтинг оснащенности хирургических отделений определенного направления, например урологического. Первые 200 отделений непременно имеют такое-то оборудование, следующие могут иметь иное. Сюда же добавляется число квалифицированных врачей, в том числе сертифицированных, показатель смертности, сложность операций… В международных рейтингах множество позиций; можно выбрать клинику из определенной страны и узнать, например, на каком месте находится хирургическое или неврологическое отделение, выбрать, где лечиться.

Балльная оценка рейтинга зависит от критериев, которые задает потребитель. Например, ему важно, чтобы в палате был телевизор, могли находиться родственники. Главное, что внутри каждого потребительского рейтинга есть критерии, по которым человек сам может менять весовые коэффициенты.

Россию показывают на последних местах в рейтингах эффективности, уровня здоровья, например у Bloomberg, а в рейтинге ООН она на 119-м месте из 184 стран.

Даже по уровню финансирования мы для международной статистики даем только интегральные показатели, а в мире используют детальный анализ и по направлениям расходов, и по источникам, и по результативности. При такой разнице в методологии всегда можно опустить Россию в любом рейтинге. Мы готовы работать над синхронизацией и показать, что нужно сделать. Уже проанализировали, что необходимо поменять, чтобы хотя бы для самих себя понять, где на самом деле находится Россия с точки зрения результативности и эффективности здравоохранения, в чем она проваливается. Надеюсь, что эта работа пригодится Минздраву, если он захочет ею воспользоваться.

– На что влияют рейтинги? Сказываются ли они на финансировании, процессе реорганизации и так называемой оптимизации сети государственных медучреждений?

– К сожалению, наши рейтинги ни на что не влияют. Они должны были бы влиять, например, на выбор пациента, но не определены целевая задача рейтинга, фокусные группы, а следовательно, не выверена методика.

На финансирование медицинских организаций рейтинги влияют только отчасти: если в учреждение обратится больше пациентов, то, по идее, оно получит больше средств. В России принят принцип: деньги следуют за пациентом, больше пациентов – больше денег.

На перечислении регионам средств из Федерального фонда ОМС рейтинговые оценки не сказываются вообще, потому что основная его задача – выравнивать финансовые условия в регионах. Кроме того, в Бюджетном кодексе и нормативных документах ФОМС нет обусловленного финансирования по принципу: если дело идет хорошо, денег будет больше, если плохо – меньше. Сейчас пытаются внедрить эффективный контракт, но он не может быть оценен на основе рейтингов: здесь слишком много субъективных оценок.

Рейтинги не проводятся, когда оценивается финансовая рентабельность медорганизаций. Бывает великолепная маленькая больничка или родильный дом, который всем нравится, есть замечательные результаты, работают прекрасные медсестры, нет инфекций – но его закрывают, потому что рядом построен большой перинатальный центр, и никого не волнует результативность медицинской организации. К сожалению, у нас рейтинги – формальный, а не рабочий инструмент. 

«Рейтинг – это инструмент работы губернаторов и правительства»

Николай Прохоренко, проректор Высшей школы организации и управления здравоохранением (ВШОУЗ)

– Какие рейтинговые исследования наиболее точно отражают ситуацию в здравоохранении по регионам России?

– В начале 2000-х годов начали появляться нормативные акты, которые должны были создать систему оценки показателей жизни людей и деятельности исполнительной власти в регионах. К 2009 году было сформулировано несколько сотен показателей по различным направлениям деятельности. По здравоохранению один из списков включал более 50 показателей, а расширенный перечень – около 150. Эти рейтинги и начальные таблички по регионам публиковало Минэкономразвития. Но после 2010 года все стало меняться. И оценка деятельности губернатора, по последнему нормативному акту, исходит всего из полутора десятков показателей. Из них к медицине относятся всего два, и то не прямо: уровень младенческой смертности и ожидаемая продолжительность жизни.

Самая большая беда большинства рейтингов – отсутствие нормальной статистики. К сожалению, сейчас в свободном доступе оказывается все меньше цифр: ФОМС и Минздрав не публикуют детальной отчетности. У нас и клиническая эпидемиология в загоне, и данные по оперативной деятельности здравоохранения за семью печатями. Вероятно, потому что можно сделать слишком много выводов… Безусловно, в Министерстве здравоохранения ведется подробная отчетность по форме № 30 (Сведения о медицинской организации – Прим. ред.), в системе ОМС собирают данные по всем регионам по форме № 62 (Сведения о реализации Программы государственных гарантий оказания гражданам РФ бесплатной медицинской помощи), но все эти данные тоже закрыты напрочь, посмотреть их экспертам невозможно. А будь эти данные в свободном доступе, выявилось бы, например, что больницы с одинаковым спектром оказываемых услуг и одинаковой численностью сотрудников могут тратить на единицу медицинской помощи средства, различающиеся почти кратно. Не удается найти подробных данных о льготном лекарственном обеспечении. Отдельные цифры есть, но чаще – проценты, а анализ по одним относительным показателям делать невозможно. Поэтому мы работаем с теми данными, которые публикует Росстат.

– В чем особенность ваших методов?

– В нашем понимании, рейтинг основан на аналитике, он должен содержать новое знание и быть экспертным продуктом, который отражает динамику нескольких показателей. По такому пути идет агентство Bloomberg. Оно исходит из того, что от здравоохранения зависит не все. В развитом обществе ожидаемая продолжительность жизни и ее динамика зависят от медицины на 10–15%, а в развивающихся странах с не слишком сильной, как у нас, инфраструктурой – процентов на 30–40. Другие факторы, от которых зависит продолжительность жизни, – объем средств, направляемых в здравоохранение, общее социально-экономическое благополучие, экология и факторы риска. Ожидаемая продолжительность жизни стала интегральным показателем, а его зависимость от различных факторов агентство учитывает по финансированию систем здравоохранения, доле валового продукта на душу населения и распространенности вредных привычек – алкоголя и курения.

Мы несколько адаптировали этот подход: взяли ВРП как один из показателей, объем средств, которые тратятся в системе здравоохранения каждого региона в расчете на душу населения, влияние алкоголя и ожидаемую продолжительность жизни. Такой подход позволяет судить, как деньги, которые направлены или потенциально могли быть направлены в здравоохранение, превращаются в показатели ожидаемой продолжительности жизни и каким образом на нее может влиять алкоголь – основной фактор риска.

Когда мы выясняем удовлетворенность населения качеством медицинской помощи, наш опросник занимает семь страниц, в нем больше 60 вопросов. Например, удовлетворен ли человек санитарно-эпидемическим состоянием больниц, а дальше спрашиваем о чистоте и качестве уборки палат, отделений, смене белья, наличии бумаги в туалете, раковины, сушилки для рук или салфеток, о том, протирают ли ручки и перила. Тогда человек вполне понимает, чего от него хотят. И есть другие опросы, очень краткие, проводимые ФСО: доволен человек или нет. Они ложатся в основу официальной оценки удовлетворенности. Это дает возможность руководству страны понять общую динамику изменений в отрасли по регионам. Глобальный вопрос о медицине, глобальный о дорогах, о ЖКХ – и сразу видно, не происходит ли по всем вопросам опасного смещения ситуации и надо ли воздействовать на губернатора. Но сказать, например, о качестве санитарно-эпидемиологической работы с таким опросником ничего нельзя.

Мы пытаемся адаптировать к России методику Bloomberg. У коллег другие подходы: берутся, например, экономические показатели. Трудно сравнивать эти рейтинги – они просто разные. Но на основе всех рейтингов экспертное сообщество должно прийти к пониманию того, что действительно является главным, как выстроена система ключевых показателей – и сделать экспертное предложение о мониторинге определенных параметров, которые дают представление о деятельности здравоохранения. Гарантией чистоты рейтинга должна быть совместная работа нескольких экспертных групп.

– Учитывают ли результаты рейтингов минздравы регионов?

– Наш рейтинг неофициальный, но это хорошее подспорье для губернаторов, чтобы с иной точки зрения посмотреть на деятельность своих министров здравоохранения и оценить свою деятельность, потому что некоторые богатые регионы выделяют на здравоохранение в расчете на душу населения меньше средств, чем бедные. Может быть, у какого-то губернатора при просмотре рейтинга что-то шевельнется: если более бедная область выделяет на медицину больше средств, надо и нам добавить! Он вызовет министра, и тот предложит, например, помочь первичному звену и расширить программу льготного обеспечения лекарствами.

– Такое действительно было?

– Да. Я не могу назвать регионы, но мы встречаемся с губернаторами, и в ряде случаев приватные беседы с участием министров здравоохранения заканчивались поручениями: «Посчитай мне, что там надо, может, наскребем».

Руководитель ВШОУЗ Гузель Улумбекова на вопросы губернаторов: «Как же так, мы оказались ниже, неужели ничего нельзя сделать?» всегда отвечает: «Сделать можно, но не исправлением рейтинга, а работой; мы можем приехать и рассказать, как».

– Влияют ли рейтинги на методы управления в здравоохранении?

– Самая большая беда в том, что у нас слабые управленцы, об этом говорят все: управление подчинено отчетности и выполнению требований, поступающих «сверху». Если «наверху» обеспокоились какой-то сферой, все силы кидают на нее, а те, за которые не спрашивают каждый день, начинают «тухнуть» и через год-другой становятся проблемными. Вот у нас выросла продолжительность жизни, но со смертностью трудоспособного населения, прежде всего с предотвратимыми смертями, у нас беда: ожидаемая продолжительность жизни трудоспособного населения совершенно не изменилась. Нужно менять парадигму управления, смотреть на систему целиком.

Рейтинг – это инструмент работы губернатора и правительства. А министру здравоохранения рейтинг нужен для обоснования связи плохого социально-экономического положения и недостаточного выделения средств на его сферу. Если Минздрав не использует такую возможность, это, по большому счету, его проблема. 

«Охватить всю Россию под силу только крупному институту»

Юлия Михайлова, первый заместитель директора ЦНИИОИЗ

– Ваш рейтинг составляется для Минздрава – что это значит на практике?

– Рейтинг медорганизаций имеет значение только в том случае, если он базируется на независимой оценке качества и доступности медицинской помощи. Сегодня этот официальный рейтинг касается только амбулаторного сектора. Независимая оценка выполняется ежегодно в течение последних пяти лет в соответствии с постановлением Правительства РФ и приказом Минздрава, согласно которому проводить ее поручено нашему институту.

Сплошным методом мы охватываем всю Россию: более 3600 учреждений оцениваются по 29 параметрам, которые характеризуют, во-первых, ресурсную базу первичного звена (в том числе кадровую), материально-техническое оснащение, лечебно-диагностический процесс и результативность медорганизаций. Оценка ориентирована и на выявление рака I и II стадий. Во-вторых, это вопросы смертности, в том числе число умерших на дому и умерших от сердечно-сосудистых заболеваний граждан трудоспособного возраста. И в-третьих – вопросы диспансеризации и ее оценки. Кроме того, учитывается наличие жалоб. В целом получается более миллиона взаимодействующих значений, которые анализируются в автоматизированном режиме. Важно, что каждому показателю экспертным путем был присвоен «весовой коэффициент», т.е. его значимость, что и позволяет оценивать деятельность амбулаторных учреждений в целом.

Рейтинг не публикуется, эта информация собирается для принятия решений на уровне министра здравоохранения России и региональных министров.

– Насколько достоверны данные, которые вы получаете от медучреждений?

– Мы работаем только с абсолютными показателями – в этом случае соврать трудно. Например, учитывается число умерших трудоспособного возраста, выявленных случаев рака. Кроме того, мы создали шестиступенчатую систему контроля достоверности данных, которой нет у составителей известных нам других рейтингов. Не зря говорят, что есть маленькая ложь, большая ложь и статистика. Когда мы только начали заниматься независимой оценкой, то обалдели, увидев, как легко соврать: иногда просто не поставив запятую.

То же касается рейтингов территорий – их начали составлять еще при президенте Борисе Ельцине: в многочисленные показатели для оценки губернаторов включались и вопросы здравоохранения. Представить в тот период недостоверные данные было очень легко. Минздрав дал нам целый год на отработку системы оценки достоверности данных. Это было одной из самых трудных задач. Сегодня наши сотрудники, которые занимаются проверкой информации, сразу видят недостоверные данные, понимают, что так не может быть. Мы связываемся со специалистами, которые прислали цифры, они извиняются и присылают уже исправленные.

– Независимая оценка и рейтинг, которыми вы занимаетесь, – это фактически госзаказ?

– Да. Оценка независимая, так как ни одна медицинская организация не находится в нашем подчинении. Сейчас мы планируем подать заявку в Минздрав на проведение независимой оценки качества онкологической помощи и деятельности учреждений онкологического профиля.

В первые два года оценки амбулаторных учреждений нас критиковали справа и слева, обвиняя в необъективности. Сегодня уже никто не критикует, потому что мы подключили к оценке объективности показателей специалистов разных уровней, в том числе участковых врачей, специалистов по информатике, статистике, экономистов, профессиональные ассоциации – и сообща выработали критерии.

– Оцениваете ли вы работу негосударственных клиник?

– Нет. Ассоциация частных клиник была за рейтинг, но сами частные учреждения не согласились – видимо, боятся, что при негативной оценке к ним не пойдут пациенты, это угрожает их доходам. Частные структуры были готовы к участию только в том случае, если мы поверим на слово их информации, т.е. будем принимать присылаемые данные без проверки и уточнения.

– Следите ли вы за другими, негосударственными, рейтингами в здравоохранении, согласны ли с их методиками?

– В 2013 году постановлением правительства работа по оценке и формированию рейтингов была отдана Высшей школе экономики, однако впоследствии передана нашему институту. Возможно, это связано с тем, что там не было необходимого числа сотрудников медицинского профиля. Отношусь к коллегам с большим уважением, но их Институт здравоохранения в составе ВШЭ – слишком маленький для такой масштабной работы. Наверное, охватить всю Россию под силу только крупному профильному институту. Кроме того, ЦНИИОИЗ – головная организация для региональных Медицинских информационно-аналитических центров (МИАЦ).

– Влияют ли рейтинговые оценки на систему управления здравоохранением?

– Мы даем объективную информацию для принятия решений, что позволяет министерству изнутри видеть все здравоохранение России через призму первичного сектора. Также каждый региональный министр может получать толстенную папку с анализом хорошего и плохого в его области по амбулаторной помощи.

Некоторые регионы, в том числе Московская область, проводят более глубокую оценку первичного здравоохранения. Результаты региональный министр использует при заключении контрактов с главными врачами.

Важно, что наши результаты могут быть использованы в федеральной программе по онкологии.

– Вы работаете с амбулаторным звеном. Возьметесь ли и за оценку госпитального?

– Пока мы будем предлагать Минздраву оценку онкологической службы. А уже потом – стационаров. Это очень трудоемкая работа.