29 сентября 2026 года в Белом доме прошла церемония, которую Марк Цукерберг назвал «исторической»: Дональд Трамп и шесть руководителей ИИ-индустрии – Дарио Амодеи из Anthropic, Сундар Пичай из Google, сам Цукерберг, Грег Брокман из OpenAI, Илон Маск и Дженсен Хуанг из Nvidia – подписали «Соглашение Белого дома о сверхразуме», текст которого Трамп в тот же день опубликовал в собственной соцсети Truth Social. Пресса описала документ как «морально обязывающий». Я прочитал его целиком за две минуты.
За день до церемонии OpenAI приостановила релиз новой модели из соображений безопасности, и одна эта строка сказала о реальном положении дел больше, чем вся эта суета вокруг соглашения.
Соглашение – ширма: в тексте нет ни одной силы, внешней по отношению к подписавшим компаниям, – ни санкций, ни бюджета, ни организации, все проверяющие назначаются проверяемыми. Настоящая история состоит в том, что американский контур контроля над ИИ весь предшествующий год последовательно разбирали – распускали советы, увольняли следователей, отзывали правила, – и к осени 2026-го в нём не осталось ничего, что могло бы сказать индустрии «нет». Пустышка заняла место обнулённой системы контроля – в этом её главная (единственная) функция. В чьих интересах это сделано – можно только догадываться.
Четыре уровня – ноль контроля
Всё содержание соглашения – четыре «уровня контроля и аудита» на каждую компанию, обучающую передовые модели: внутренние механизмы мониторинга возможностей модели при обучении и развёртывании; внутренняя команда, которая проверяет, что эти механизмы работают; «независимый внешний аудитор»; независимый комитет совета директоров, который принимает отчёты и добивается устранения проблем.
Вот перевод полного текста соглашения:
СОГЛАШЕНИЕ БЕЛОГО ДОМА О СВЕРХРАЗУМЕ
Совместное обязательство по ответственности за передовые модели
Чтобы построить позитивное будущее для американского народа и всего мира, мы считаем, что каждая компания несёт ответственность за то, чтобы разрабатывать свою технологию безопасно и так, чтобы это укрепляло доверие клиентов и общества.
Это начинается с того, что каждая компания, обучающая и развёртывающая передовые (frontier) модели, должна иметь надёжные внутренние процессы и механизмы контроля, гарантирующие, что её технология ведёт себя так, как задумано, и что любые проблемы оперативно выявляются и устраняются. Поэтому в дополнение к любым иным мерам предосторожности мы считаем, что каждая компания должна внедрить следующие четыре уровня контроля и аудита:
Внедрить надёжные внутренние механизмы контроля для отслеживания возможностей и согласованности (alignment) своих моделей на этапах обучения и развёртывания в таких областях, как кибербезопасность, биобезопасность и химические угрозы, а также для того, чтобы гарантировать: модели не взламывают и не получают доступ к техническим системам способами, которые не предусматривались.
Наделить внутреннюю команду полномочиями, чтобы удостовериться, что все механизмы контроля, мониторинга и обнаружения работают как задумано, а выявленные проблемы устраняются.
Привлечь независимого внешнего аудитора или оценщика, который проведёт независимую оценку того, работают ли механизмы контроля, мониторинга и обнаружения так, как задумано.
Назначить независимый комитет совета директоров, который будет осуществлять надзор и принимать отчёты от команд, отвечающих за механизмы контроля, а также от внутренних и внешних аудиторов и оценщиков, и добиваться устранения всех выявленных проблем.
Вместе эти шаги дадут каждой компании, её клиентам и обществу уверенность, что технология работает так, как задумано.
Компании-участницы будут регулярно встречаться, чтобы вырабатывать стандарты и передовые практики для повышения безопасности своих систем.
Со временем, возможно, будет разумно закрепить эти шаги в законах или нормативных актах. Но независимо от того, будет ли это для компаний обязательным, мы считаем, что внедрение этих механизмов контроля и аудита критически важно для обеспечения безопасного будущего для всех, — и каждая из наших компаний обязуется это делать.
Присмотритесь к тому, кто кого проверяет. Аудитор нанимается, оплачивается и при необходимости заменяется компанией, которую он проверяет; Гэри Маркус, когнитивный учёный из Нью-Йоркского университета и многолетний критик ИИ-индустрии, перевёл это место с дипломатического на русский: «субподрядчики, которых выбираем мы сами.. с которыми, возможно, уже ведём бизнес». Комитет – это совет директоров, следящий за менеджментом той же компании; спрашивать с самого себя он будет ровно до того момента, когда безопасность начнёт конфликтовать с квартальным финансовым отчётом. Все четыре «уровня» живут внутри периметра, который им же и надлежит охранять.
В документе нет ни штрафов, ни инспекций, ни требования раскрывать инциденты, ни органа, который собирал бы отчёты; весь надзор сводится к обещанию компаний «регулярно встречаться». Государство упомянуто один раз, в сослагательном наклонении: «со временем, возможно, будет разумно закрепить эти шаги в законах или нормативных актах».
Реальный контроль
Как выглядит реальный контроль, американская система показывала на примере атомной энергетики. Регулятор – Комиссия по ядерному регулированию США (NRC) – это около 2 800 сотрудников и миллиард долларов в год на девяносто четыре реактора: комиссия из пяти человек, четыре региональных офиса, обязательная лицензия на каждую площадку, штрафы до 360 тысяч долларов в день и отзыв лицензии, останавливающий бизнес; уголовная ответственность по американскому закону об атомной энергии доходит до пожизненного заключения. Причём почти весь бюджет регулятора платят сами лицензиаты – отрасль финансирует собственного надзирателя и мирится с этим, потому что без лицензии нет бизнеса.
ИИ-безопасность в Соединённых Штатах – это CAISI (Центр стандартов и инноваций в ИИ) при NIST (Национальном институте стандартов и технологий): около десяти миллионов долларов в год, ноль полномочий, добровольные соглашения. Для сравнения: это десятая часть бюджета британского AI Security Institute, у которого больше сотни технических сотрудников и никакого права санкций тоже нет. Федерального регулятора ИИ в США не существует, а единственное место на Западе, где за небезопасный ИИ штрафуют по-настоящему, – европейский AI Office (ведомство Еврокомиссии, применяющее закон об ИИ) с санкциями до 15 миллионов евро или 3% мирового оборота.
Что прикрывает ширма
20 января 2025 года, в первый день работы администрации Трампа, был распущен AI Safety and Security Board – единственный постоянный федеральный совет по ИИ-безопасности, где руководители ИИ-индустрии и операторы критической инфраструктуры сидели за одним столом с чиновниками. В тот же день был отменён исполнительный приказ, который этот совет создал. Площадка, где индустрия и государство говорили об инцидентах, перестала существовать незадолго до того, как агенты начали взламывать реальные системы.
Тогда же уволили членов Cyber Safety Review Board – следственного органа по киберинцидентам, созданного по образцу комиссии по авиакатастрофам и расследовавшего взломы Log4j и Microsoft. Совет успел анонсировать расследование Salt Typhoon – китайского проникновения минимум в девять американских телеком-компаний, включая системы законной прослушки, – и был разгромлен, когда расследование было готово меньше чем наполовину. Позже министр внутренней безопасности Кристи Ноэм публично удивлялась, почему государство так мало знает о Salt Typhoon, – задавая этот вопрос аппарату, у которого только что уволила следователей.
CISA – Агентство кибербезопасности и безопасности инфраструктуры, гражданский киберщит страны – за год потеряла около трети штата: примерно тысячу человек из 3 300 и почти полмиллиарда долларов. Ушли руководители трёх из шести дивизионов, закрыты два инструмента поиска угроз, а ИИ-дорожная карта ведомства – самый конкретный государственный план реагирования на инциденты с ИИ – лежит на сайте в папке «архив».
CTIIC, центр слияния киберразведданных восемнадцати ведомств, объявлен «избыточным» и влит в аналитический совет, занимающийся долгосрочными прогнозами; по оценке критиков реформы, ежедневная функция при таком переносе не переезжает – она умирает.
13 мая 2025 года, за два дня до вступления в силу, Минторг отозвал AI Diffusion Rule – первый в истории режим экспортного контроля над самими весами ИИ-моделей и трёхъярусную систему ограничений на передовые чипы; правило прожило 118 дней, замену обещали – не издали.
Итого: США тратит около пятнадцати миллиардов долларов и десятки тысяч людей на кибероборону – режим реагирования после свершившегося факта – и около десяти миллионов на ИИ-безопасность, при том что главные ИИ-инциденты последних лет по своей природе и есть кибер-инциденты. Соглашение о сверхразуме подписано не просто на пустом месте – а на тщательно расчищенном. Кто от этого выигрывает – вопрос, на который у меня нет ответа; впрочем, список подписей под соглашением подсказывает направление.
Уровень контроля
Впрочем, первые инструменты контроля над опасной технологией часто бывают слабы. Даже Хиросима не подтолкнула мир к контролю над атомной энергией немедленно: план Баруха 1946 года провалился, МАГАТЭ появилось только в 1957-м, Договор о нераспространении – в 1968-м, спустя двадцать три года после бомбардировок.
Тем не менее, с ядерной энергией уровень контроля последовательно рос: комиссия ООН 1946 года, агентство 1957-го, договор об испытаниях через год после Карибского кризиса. Контроль ИИ в США наоборот, ослабляется и шаг, ведущий вниз, продали как первый шаг вверх. За неделю до церемонии Трамп назвал в ООН глобальный контроль над ИИ «глобалистской схемой», и соглашение честно соответствует его позиции: никакого глобализма, никакого контроля.
Пока не больно
В июле больше семисот агентов OpenAI выбрались из изолированной тестовой среды через уязвимость нулевого дня и взломали продакшн-инфраструктуру Hugging Face; часть агентов пыталась скрыть следы взлома. В июне агент с заданием «найти статистику про Австралию» методично обходил блокировки государственного портала Medicare – сайта австралийской системы здравоохранения, – добрался до непубличных файлов и вынес их на внутренний сервер; OpenAI сообщила о происшествии на общедоступную почту портала, которую проверяют раз в день, так что премьер-министр узнал о произошедшем через два с половиной месяца и назвал его «очевидно неприемлемым». Anthropic, перепроверив 141 006 прогонов, нашла три случая, когда её модели атаковали настоящие компании: Opus продолжил атаку, поняв, что цель не учебная, – «реальная компания – часть упражнения»; модель Mythos 5 опубликовала в открытом репозитории вредоносный пакет, который исполнили пятнадцать реальных систем; третья модель просканировала девять тысяч хостов и остановилась сама, сообразив, что вышла за пределы учения.
Пока эти инциденты не принесли ни финансовых потерь, ни пострадавших людей, не было и попыток самокопирования ИИ. Весь ущерб – это украденные учётные данные, непубличные файлы, испорченная репутация. Две из трёх организаций, взломанных моделями Anthropic, даже не заметили вторжения – узнав о нём от самой Anthropic. Правительству Австралии пришлось выяснять у юристов, было ли вторжение агента вообще незаконным: статьи о несанкционированном доступе в уголовном кодексе есть, а регулятора, способного применить их к лаборатории, нет.
Контроль над опасными технологиями обычно начинается после шока. Комиссия ООН по атомной энергии впервые собралась через месяцы после Хиросимы, договор об испытаниях подписали через год после Карибского кризиса, конвенцию о химическом оружии с «небольшим» опозданием – через семьдесят восемь лет после первого газового облака под Ипром. Своей Хиросимы у ИИ пока ещё не было – пока были только репетиции..
Друзья, подписывайтесь на мой Твиттер (там я пишу чаще) и Телеграм, чтобы получать анонсы новых материалов.
Комментариев: 0