Безопасный искусственный интеллект: в НИЯУ МИФИ обсудили угрозы и защиту 

10 ноября в Национальном исследовательском ядерном университете «МИФИ» прошло заседание Научного совета РАН по информационной безопасности. Встречу открыли ректор НИЯУ МИФИ Владимир Шевченко и председатель совета, заместитель директора Российского фонда фундаментальных исследований, академик Игорь Шеремет.

Заседание стало уже третьим по счёту, которое Совет проводит в стенах МИФИ. Как подчеркнул в приветственном слове ректор университета Владимир Шевченко, киберпространство сегодня — «не просто надстройка над реальностью, это её кровеносная и нервная система», и тот, кто управляет этой системой, во многом определяет будущее. «Мы живём в эпоху, когда информационное пространство перестало быть просто средой, а стало полем битвы, лабораторией, мастерской и для многих здесь присутствующих — судьбой», — отметил он.

Владимир Шевченко напомнил, что информационная безопасность — это не только про технологии, но и про культуру, этику и мировоззрение: «Свобода без ответственности разрушительна, а безопасность без развития ведёт к застою». Именно поэтому, подчеркнул ректор, в университете студентов учат читать сложные тексты — Достоевского и Стругацких, играть в шахматы, петь в хоре, потому что «настоящий профессионал — это никогда не функция, а прежде всего личность, способная к самостоятельному суждению и нравственному выбору».

Академик Игорь Шеремет в своём выступлении напомнил, что МИФИ стал первым вузом страны, где появились сначала кафедра, а затем и факультет защиты информации. «Эти славные традиции МИФИ бережёт и развивает», — сказал он.

Главной темой заседания стал «безопасный искусственный интеллект». Академик Шеремет пояснил, почему предпочитает этот термин распространённому «доверенному ИИ»: «Доверенный — это категория больше психологическая. Я могу доверять этому искусственному интеллекту, но он небезопасен. С другой стороны, я могу ему не доверять, но угроз от него не исходит». По мнению ученого, функциональное определение точнее: безопасный ИИ — это искусственный интеллект, от которого не исходят угрозы окружающей среде и людям, которые его используют.

Игорь Шеремет отметил, что массовое внедрение систем ИИ вывело вопрос об их безопасности на передний план. Если на раннем этапе развития, когда все занимались в основном инженерией знаний, всё было более-менее понятно — есть база знаний, совокупность причинно-следственных связей, проверенные факты, — то с 2012 года, когда начался взрывной рост исследований в области нейросетей, а затем и больших языковых моделей, традиционное понимание безопасности ИИ подверглось серьёзным испытаниям. «Мы видим сплошь и рядом примеры, когда некритичное использование таких средств приводит к весьма тяжёлым последствиям», — констатировал Шеремет.

Программу заседания председатель совета обозначил заранее: сначала доклад учёного секретаря об основных результатах работы Совета за истекший год, затем научная дискуссия в двух блоках. Первый блок — «Угрозы, порождаемые повсеместным использованием средств искусственного интеллекта, и пути создания безопасного ИИ». Второй — «Большие языковые модели как средство реализации кибератак и способы их нейтрализации».

С докладом об основных результатах работы Совета за истекший год выступил учёный секретарь Борис Костогрызов. Он, в частности, сообщил, что Совет разработал и направил в Минобрнауки предложения о формировании отдельной укрупнённой группы специальностей высшего образования — «информационная безопасность. Совет участвовал в научно-методическом сопровождении работ по обеспечению мониторинга и идентификации беспилотных воздушных судов в рамках разработки макета — соответствующие рекомендации направлены в профильные органы. Ещё одно направление — участие в работе Технического совета по рассмотрению результатов НИОКР Минпромторга России по обеспечению кибербезопасности автотранспорта. Борис Костогрызов также сообщил об участии Совета в разработке Федерального закона по искусственному интеллекту — этому вопросу было посвящено отдельное выступление. В отчётном периоде разработана первая редакция национальных стандартов, проведено публичное обсуждение и подготовлена окончательная редакция; стандарты, связанные с системной инженерией и риск-ориентированной поддержкой принятия решений для различных процессов, направлены в Росстандарт.

В планах — проведение 2 декабря в МИФИ российской научно-технической конференции «Кибернетика и информационная безопасность.

С выступлениями на заседании выступили представители ТАСС, МГУ, Управления Президента РФ по государственной политике в сфере оборонно-промышленного комплекса, группы компаний «Инфовотч», Всероссийского института научно-технической информации, Института государства и права РАН, ПАО «Сбербанк» и СПбПУ им. Петра Великого.

Подводя итог, участники заседания отметили, что стремительное массовое внедрение систем искусственного интеллекта в организациях и ведомствах требует выработки системных подходов к минимизации возможного ущерба — и Научный совет РАН по информационной безопасности намерен предложить такие подходы, опираясь на синергию фундаментальной академической науки и передового университетского образования.