Доверие к искусственному интеллекту в здравоохранении в настоящее время в большей степени зависит от структуры системы, а не от медицинских реалий.

Для того чтобы искусственный интеллект в здравоохранении вызывал доверие и отвечал потребностям врачей и пациентов, необходима постоянная обратная связь.

Инициативы в Юго-Восточной Азии показывают, как можно перейти от политики доверия к технологиям к их практическому применению.

Искусственный интеллект (ИИ) меняет сферу здравоохранения — от диагностики до работы больниц. Однако управление в этой области отстает. Доверие к технологиям, необходимое для их внедрения в клиническую практику, остается нестабильным. Большинство концепций сосредоточены на проектировании систем или соблюдении нормативных требований и не учитывают реалии оказания медицинской помощи, где доверие формируется в процессе повседневного взаимодействия пациентов и врачей.

Подход Сингапура к использованию ИИ в здравоохранении отражает как успехи, так и проблемы. В 2018 году в результате кибератаки на Singhealth, одной из самых серьёзных утечек данных в стране, были скомпрометированы записи почти 1,5 миллиона пациентов и выявлены критические уязвимости в инфраструктуре.

Опрос YouGov, проведенный в 2023 году, показал, что только 14 % жителей Сингапура готовы воспользоваться услугами ИИ для консультирования по вопросам психического здоровья. В 2021 году Министерство здравоохранения опубликовало руководство по использованию ИИ в здравоохранении, в котором говорится о таких мерах предосторожности, как объяснимость, контроль со стороны человека и информирование о рисках. Это шаг к укреплению доверия, а не просто к обеспечению соблюдения требований.

Эти события указывают на более масштабную необходимость. Управление должно выйти за рамки фиксированных стандартов и внедрить циклы доверия на этапе развертывания: динамичные, учитывающие контекст механизмы, которые развиваются вместе с клиническими реалиями. Управление в сфере здравоохранения должно быть гибким, контролируемым и встроенным в систему, а не только прописанным в законодательстве.

Доверие не поддается модернизации

Рентгенолог сомневается, стоит ли доверять интерпретации снимка, сделанной искусственным интеллектом. Медсестра игнорирует оповещение о необходимости сортировки, сделанное искусственным интеллектом. Пациент спрашивает: «Кто видит мои данные?» Эти три примера сами по себе не являются системными ошибками, это сигналы. Проблемы с доверием возникают, когда системы не соответствуют реальным потребностям. «Доверие по умолчанию» помогает, но управление должно быть непрерывным и основываться на обратной связи, а не на предположениях.

Исследование npj Digital Medicine perspective 2025 показало, что процессы непрерывного мониторинга и переподготовки кадров быстро становятся основными операционными расходами, в то время как корректировка в связи с изменением структуры данных (“дрейф данных”) создает дополнительную нагрузку на учреждения, не имеющие специальных инженерных групп. Эти результаты подтверждают необходимость поэтапного внедрения циклов доверия, которые являются масштабируемыми и учитывают контекст, иначе мы рискуем увеличить разрыв в возможностях между центрами с большими ресурсами и небольшими больницами.

Как выглядит оперативное доверие?

Оперативное доверие — это показатель того, насколько хорошо системы искусственного интеллекта работают в реальных клинических условиях, насколько они прозрачны, подотчетны и удобны в использовании для рядовых сотрудников. Оно включает в себя:

Контекстная объяснимость: Могут ли начинающие врачи понять результаты работы ИИ и оспорить их в режиме реального времени?

Опрос Американской медицинской ассоциации, проведенный в 2025 году показал, что 68 % врачей считают инструменты на основе ИИ полезными, а 66 % уже используют их. Но почти половина (47 %) назвали усиление контроля со стороны практикующих врачей наиболее важным шагом в регулировании для укрепления доверия к рекомендациям, полученным с помощью ИИ.

Модель AI2D (дополненный интеллект в области инфекционных заболеваний) в Сингапурской больнице общего профиля является примером контекстной объяснимости в клиническом ИИ. Этот инструмент помогает врачам определять, нужны ли антибиотики при таких заболеваниях, как пневмония, на основе данных о пациентах в режиме реального времени. На ранних этапах проверки точность составила 90 %. Рекомендуя решения по лечению до получения результатов лабораторных исследований, AI2D поддерживает мнение врача, не заменяя его, и укрепляет доверие за счёт своевременных и понятных результатов.

Отслеживаемость в действии: Можно ли отследить прогнозы при передаче данных о пациентах?

В исследовании 2022 Nature Medicine сообщается о снижении производительности модели сепсиса на 17 % в течение нескольких месяцев после внедрения из-за изменений в окружающей среде. Это показывает, почему так важна возможность аудита: она позволяет отслеживать производительность модели в режиме реального времени по мере изменения условий.

Сингапурский инструмент aiTriage и инструменты CARES 2, прогнозирующие сердечные и послеоперационные осложнения соответственно, вызывают доверие благодаря прогнозам, которые регистрируются, снабжаются временными метками и встраиваются в клинические записи, что позволяет врачам сверяться с предыдущими рекомендациями при передаче пациентов или последующем наблюдении. Такая отслеживаемость обеспечивает подотчётность и подкрепляет человеческое суждение.

Механизмы обратной связи с конечными пользователями: Могут ли рядовые пользователи выявлять небезопасные шаблоны и помогать в развитии алгоритма?

Улучшения удобства использования: приложение SingHealth Note Buddy транслирует консультации на нескольких языках в режиме реального времени, что снижает административную нагрузку и обеспечивает более внимательное обслуживание – наглядный пример доверия благодаря согласованию интерфейса.

Платформы для психического здоровья, такие как mindline.sg и NeuroBlu от Холмаска, изначально предусматривают контроль с учётом доверия. Mindline.sg использует проверенную врачами систему сортировки с маршрутизацией по категориям, предлагая инструменты для самопомощи или направления к специалистам без сохранения идентифицирующих данных. Несмотря на то, что платформа не предназначена для постоянного клинического контроля, она постоянно обновляется, чтобы оставаться актуальной и безопасной. Holmusk, напротив, связывает прогностические модели с информационными панелями для врачей через свою платформу NeuroBlu, что позволяет медицинским бригадам отслеживать риски и корректировать лечение за счёт непрерывного обновления данных.

Юго-Восточная Азия: лаборатория доверия в движении

Юго-Восточная Азия является первопроходцем в области управления на практике, а не только на бумаге. В Сингапуре биржа TRUST под руководством Министерства здравоохранения в настоящее время содержит около 40 анонимизированных национальных наборов медицинских данных и за первый год работы обработала 17 одобренных запросов на предоставление данных от 107 пользователей. Между тем AI Verify, национальная система Сингапура для тестирования и оценки систем искусственного интеллекта, внедряется в клиническую практику в рамках пилотного проекта Global AI Assurance 2025. Она сочетает техническое тестирование с проверкой процессов для оценки систем искусственного интеллекта на предмет справедливости, надёжности и прозрачности. В рамках этого пилотного проекта 17 реальных примеров использования GenAI, включая инструмент для обобщения рабочих процессов в больнице общего профиля Чанги, были объединены с 16 специализированными фирмами по тестированию в 10 отраслях.

Помимо Сингапура, АСЕАН перешла от принципов к пилотным проектам, при этом государства-члены тестируют на местах языковые средства обеспечения безопасности. Наиболее примечательно, что Тайфун2-классификатор безопасности Таиланда был выпущен, чтобы помочь обеспечить соблюдение культурных и контекстуальных ограничений в выпусках LLM на тайском языке. В здравоохранении такие инструменты становятся все более актуальными для таких приложений, как служба поддержки психического здоровья, ассистенты по сортировке пациентов и генеративные системы искусственного интеллекта, ориентированные на пациента, где лингвистическая точность и культурная чувствительность необходимы для безопасности и доверия.

Для обеспечения устойчивого воздействия этих пилотных проектов требуется инфраструктура управления, совместно разработанная поставщиками, учреждениями здравоохранения и регулирующими органами, которая может внедрить подотчетность и доверие в повседневные рабочие процессы. Государственные закупки могут завоевать доверие, привязав бонусы или штрафы за возврат средств, если целевые показатели не будут достигнуты, к базовому набору ключевых показателей эффективности, таких как частота отказа врача, сокращение диагностических ошибок и показатели опыта, о котором сообщают пациенты (PREM), как описано в системе оценки искусственного интеллекта для воздействия.

Принципы доверия

Для того чтобы в основе работы ИИ лежало доверие, необходимо институциональное лидерство. Такие условия, как прозрачность, подотчётность и согласованность действий пользователей, не возникают сами по себе. Руководители должны определять условия внедрения, оценки и совершенствования ИИ с помощью следующих действий:

  • Укрепляйте доверие: включайте в тендеры на использование ИИ в государственном секторе показатели операционного доверия (например, требуйте от поставщиков отслеживать частоту принятия решений врачами, баллы PREM и снижение количества диагностических ошибок). Также важно укреплять доступные каналы, с помощью которых пользователи могут безопасно сообщать о рисках и влиять на развитие системы.
  • Совместная разработка с пользователями: Доверие должно формироваться совместно, а не навязываться. Это означает, что на каждом этапе разработки необходимо внедрять детальный контроль конфиденциальности и получать отзывы пациентов.
  • Координация на региональном уровне: Используйте платформы АСЕАН и АТЭС для согласования управления развертыванием, как это предусмотрено в Меморандуме о взаимопонимании Сингапура.
  • Инвестируйте в повышение грамотности в сфере управления. Такие инициативы, как сингапурский Центр искусственного интеллекта в медицине (C-AIM) и Инициатива «Искусственный интеллект для науки», внедряют принципы управления, которые обеспечивают безопасность, соблюдение этических норм и практическое применение.

ИИ может изменить сферу здравоохранения, но только в том случае, если ему будут доверять. Доверие не возникает из ниоткуда; оно формируется на основе контекста, обратной связи и использования. Контекст означает приведение систем ИИ в соответствие с клинической средой, включая рабочие процессы, источники данных и основные роли. Обратная связь подразумевает непрерывный ввод данных пользователями и мониторинг производительности для выявления рисков и улучшения функциональности. Использование подчеркивает, что доверие необходимо заслужить путем многократного безопасного взаимодействия, а не предполагать его наличие при запуске.

Чтобы сформировать будущее искусственного интеллекта в здравоохранении, мы должны управлять процессом с самого начала — с опорой на доверие, которое возникает благодаря реальному опыту, а не только продуманному дизайну.

Источник

От DTScience

Добавить комментарий