AI TRiSM — защита от «умника»

⚡️Аналитики IT-консалтинговой компании Gartner в ежегодном прогнозе технологических трендов представили, среди прочих, новый класс инструментов — AI TRiSM (“Управление доверим, рисками и безопасностью в сфере ИИ”). Обеспечение конфиденциальности при обмене данными на отрезке “пользователь — компания”, эффективная фильтрация и оценка подлинности контента, соблюдение законодательных требований и AI-этики — эти и многие другие связанные задачи будут системно решаться в рамках нового подхода.
ℹЕсли переводить с технологического на язык здравого смысла, AI TRiSM должен защитить нас от возможных ошибок ИИ. Которых, в общем-то, до сих пор немало. Последствия таких ошибок могут быть самыми разными — от юридических казусов до реальной гибели людей. Напомним два прошлогодних инцидента, которые, вероятно, войдут в учебники по AI-безопасности.
😎Адвокат из США при подготовке судебного иска к авиакомпании прибегнул к помощи ChatGPT. Тот выдал ему несколько прецедентов, на которые юрист сослался в своем заявлении. Однако тщательный поиск этих дел во всех возможных базах данных не дал положительного результата. Причина оказалось предельно простой — в действительности они никогда не существовали, ChatGPT их просто «выдумал», пытаясь поддержать позицию истца. Итог: у юриста с тридцатилетним стажем отобрали лицензию.
🔥Второй кейс — ещё более экстремальный (спойлер: всё обошлось). На испытаниях ВВС США беспилотник с искусственным интеллектом принял решение ликвидировать оператора, а затем — уничтожить вышку связи, через которую ему отдавали команды.
Почему? Всё очень просто: за выполнение боевых задач дрону начислялись баллы, а оператор время от времени отменял нанесение удара по уже идентифицированной БПЛА цели. Программа, управляющая беспилотником, сочла человека угрозой, мешающей повышению рейтинга. Когда алгоритмы дрона скорректировали, добавив явный запрет на нанесение вреда оператору, ИИ “извернулся” и принял решение разрушить вышку связи.
🫶Испытания носили имитационный характер, поэтому в действительности не пострадали ни личный состав, ни инфраструктура.
Другие новости

