Разработчики ИИ-моделей готовы допустить внешних аудиторов к проверке безопасности

Главы Anthropic и OpenAI предложили привлечь независимых оценщиков для проверки безопасности искусственного интеллекта — это следует из публикаций руководителей компаний и сообщений отраслевых СМИ, появившихся на фоне дискуссии о внешнем контроле над развитием моделей. По данным Anadolu, ссылающегося на источники в технологическом секторе, ведущие лаборатории обсуждают также создание отраслевого органа стандартизации, что в перспективе способно изменить подход к сертификации продуктов на базе генеративных моделей. Ряд изданий, включая «Рамблер», фиксирует, что OpenAI, Anthropic и Google уже начали совместную работу над безопасностью ИИ.

Что стоит за инициативой

Генеральный директор Anthropic Дарио Амодеи опубликовал программную статью 12 сентября, после того как исследователь компании Джейкоб Коксон подал в отставку, мотивировав это недостаточной ответственностью в вопросах ИИ. Амодеи предупредил, что развитие технологий идёт с геометрической прогрессией и может превзойти способность человека понимать и контролировать эти системы; следовательно, он предложил замедлить темпы внедрения, чтобы обеспечить больше возможностей для внешнего контроля. Глава компании также призвал администрацию США ужесточить ограничения на экспорт микросхем в Китай и не допустить «дистилляции» данных из американских моделей китайскими лабораториями.

Генеральный директор OpenAI Сэм Альтман, по сообщениям источников, выразил согласие с этим подходом и заявил о готовности предпринять аналогичные шаги в отношении независимой оценки. Илон Маск поддержал Амодеи, написав в X: «Дарио прав».

Как это может работать на практике

По информации ZOOM.CNews.ru, Anthropic предлагает усилить роль сторонних оценщиков — среди уже сотрудничающих с лабораторией организаций упоминаются METR и Redwood Research. Отдельное направление — оценка так называемого alignment, то есть согласованности целей модели с целями человека, а также выявление склонности систем к обману или манипуляции: этим, в частности, занимается Apollo Research. Аналогичную работу ведёт FAR.AI. Открытым остаётся вопрос финансирования таких организаций и объёма доступа к моделям, который им будет предоставлен.

С другой стороны, по данным Anadolu, компании Anthropic, Google и OpenAI обсуждают создание собственного органа для определения отраслевых стандартов. На переговоры повлияла опубликованная в июле статья соучредителя Google DeepMind Демиса Хассабиса, в которой он предложил модель организации под руководством США, действующей на основе сотрудничества государственного и частного секторов. Источники отмечают, что лидеры технологического сектора пока не пришли к единому мнению по вопросам контроля, а переговоры продолжаются вне зависимости от позиции администрации Дональда Трампа.

Что это означает для пользователей сервисов

Для рынка прикладных ИИ-решений последствия пока косвенные. Если независимая оценка станет обязательным этапом перед выпуском моделей, платформы и разработчики корпоративных сервисов получат более прозрачные критерии выбора провайдера — следовательно, при формировании стека стоит обращать внимание на наличие у продукта внешних валидаций безопасности. Кроме того, появление единых стандартов способно снизить регуляторные риски для компаний, внедряющих генеративный ИИ в ежедневные бизнес-процессы, и упростить аудит соответствия требованиям заказчиков.

Амодеи в интервью CBS News назвал самой сложной дилеммой своего предложения вероятность того, что Китай и другие страны не последуют аналогичным мерам, — именно это делает инициативу не столько технической, сколько геополитической. Трезвый прогноз: даже при наличии политической воли формирование работающего механизма независимой оценки займёт не один год, а первые ощутимые изменения для пользователей проявятся не раньше, чем ведущие лаборатории опубликуют конкретные протоколы тестирования, применимые к коммерческим продуктам.