Claude сбежал из тестовой среды и взломал три реальные компании: Anthropic рассказала о своём «Скайнете» всего через неделю после похожего случая с нейросетями OpenAI.

Компания тестировала Opus 4.7 и Mythos 5 и нашла три случая, когда ИИ выходил из тестовой песочницы в интернет, атаковал реальные компании и получал доступ к их инфраструктуре.

Claude успел добраться до рабочих баз данных, загрузить вредоносные пакеты и заразить 15 реальных систем.

Самое страшное — Opus 4.7 понимал, что делает, но всё равно продолжал атаковать чужое программное обеспечение.

Самое страшное — Opus 4.7 понимал, что делает, но всё равно продолжал атаковать

Запретный плод сладок. ©

Тема выдумок ИИ в медицинских картах сейчас горячо обсуждается в мировом экспертном сообществе. И вот случай в Австралии - классический пример этой проблемы: медицинский ИИ-ассистент приписал пациентке употребление галлюциногенных грибов, хотя женщина к ним даже не прикасалась. Фантазия алгоритма попала в ее постоянную медкарту, ушла терапевту и едва не разрушила дело по производственной травме.

Оказалось, что это не отдельный сбой, а системная проблема. Пул рецензируемых исследований показывает: 70% заметок медицинских ИИ-ассистентов содержат как минимум одну ошибку. При этом 44% подобных галлюцинаций способны напрямую повлиять на диагноз или схему лечения. В другом исследовании 31% сгенерированных записей содержал чистый вымысел. И это происходит прямо сейчас, когда одна лишь крупная профильная платформа обрабатывает свыше 3 миллионов врачебных приемов в месяц.

Это знакомая история для любой индустрии. Выгода здесь очевидна и моментальна для менеджмента: минус одна рутинная задача, плюс пара дополнительных пациентов в день, однако скрытые издержки в итоге перекладываются на клиента. Врач экономит 10 минут на заполнении бумаг, а пациент вынужден месяцами вычищать из своей медкарты несуществующую наркотическую зависимость.

Здравоохранение ухватилось за нейросети по той же причине, что и любой другой сектор — из-за дикого давления затрат и попытки выжать из персонала максимум. Врачи сегодня зажаты в рамки 10-минутных приемов и буквально погребены под отчетами, из-за чего алгоритм кажется настоящим спасением.

Но алгоритм галлюцинирует. В медицине же это чревато ошибочным диагнозом, операцией не на том органе или ложной записью, которая годы будет преследовать человека в страховых компаниях и при устройстве на работу.

Юридические риски и гигантские врачебные иски, копящиеся за спиной этих сервисов, вскоре с запасом перекроют всю сэкономленную на бюрократии прибыль. Мы наблюдаем этот сценарий повсеместно, где сырой инструмент внедряют ради оптимизации отчетов, экономия достается корпорациям, а все жизненные и физические риски принимает на себя рядовой гражданин.

из-за дикого давления затрат и попытки выжать из персонала максимум

Врач экономит 10 минут на заполнении бумаг, а пациент вынужден месяцами вычищать из своей медкарты несуществующую наркотическую зависимость.