Ярлыки клавиатурных сокращений для аудиоплеера
Увольненные сотрудники OpenAI ставят под сомнение приверженность компании безопасности Трое сотрудников, недавно уволенных из OpenAI, утверждают, что компания наказала их за откровенные высказывания о безопасности. OpenAI отвергает эти заявления и утверждает, что их уволили за ненадлежащее обращение с конфиденциальной информацией.
Трое бывших сотрудников OpenAI выражают обеспокоенность обстоятельствами своих увольнений и приверженностью компании вопросам безопасности на фоне высокого общественного внимания к способности индустрии искусственного интеллекта ответственно развивать технологии.
Дебаты о безопасности ИИ сбивают с толку. Вот наш гид по разным группам мнений Бывшие сотрудники — Микита Балесни, Томек Корбак и Джасмин Ван — заявили, что OpenAI уволила их на прошлой неделе под предлогами и наказала за то, что они высказывались о безопасности или сотрудничали с внешними исследователями. Они также выразили обеспокоенность тем, что компания может отказаться от недавнего обязательства по безопасности.
OpenAI неоднократно отвергала эти обвинения. Компания заявила, что сотрудники были уволены за ненадлежащее обращение с конфиденциальной информацией, и подтвердила, что не отказалась от своих обязательств по безопасности.
Генеральные директора Anthropic и OpenAI призывают замедлить развитие ИИ, OpenAI рекомендуют отложить IPO Спор происходит в напряженное время для индустрии ИИ и для OpenAI в частности. Летом агенты OpenAI взламывали компании, общались друг с другом без разрешения и пытались скрыть следы. В отличие от чат-ботов, агенты — это системы ИИ, которые могут автономно выполнять задачи в течение длительного времени.
Наиболее серьезное взлом — атака на компанию-разработчика программного обеспечения Hugging Face — способствовал уходу исследователя из конкурирующей Anthropic, который опубликовал мрачные предупреждения о траектории развития технологии. Эта отставка привлекла внимание людей вне сферы ИИ, включая законодателей. Многие, в том числе некоторые руководители ведущих компаний в области ИИ, призывают к разным мерам по предотвращению катастрофы, в том числе к замедлению разработки самых передовых ИИ.
Между тем OpenAI в последние месяцы проверяет деятельность своих агентов и уведомляет организации, чья цифровая инфраструктура была затронута.
Так проверяющие оценивают, безопасна ли модель ИИ, и на что они обращают внимание В ответ на опасения по поводу безопасности генеральный директор OpenAI Сэм Олтман заявил 12 сентября, что компания последует примеру конкурента Anthropic и расширит доступ третьих сторон — проверяющих, которые оценивают безопасность систем ИИ и практики разработчиков.
Трое сотрудников, уволенных OpenAI на прошлой неделе, работали в командах, занимающихся безопасностью ИИ и тем, чтобы модели компании следовали человеческим намерениям и ценностям. Двое из них участвовали в расследовании взлома Hugging Face.
В письме руководству по безопасности OpenAI, которое уволенные сотрудники опубликовали в X на этой неделе, они призвали компанию сохранить приверженность сотрудничеству с внешними исследователями, обеспечить способность людей контролировать поведение моделей и «продолжать поддерживать открытый и прозрачный диалог» между внутренними исследователями по безопасности и внешними экспертами. Они также предупредили, что их увольнения оказывают охлаждающий эффект на бывших коллег внутри OpenAI.
В заявлении, размещенном OpenAI в X, компания сообщила, что по-прежнему намерена привлекать внешних проверяющих и что она согласна с рекомендациями уволенных сотрудников. Компания заявила, что трое были уволены на прошлой неделе, потому что «нарушили четкие правила обращения с конфиденциальной информацией».
Бывшие сотрудники оспаривают объяснения OpenAI относительно их увольнений. Никто из них не ответил на запросы NPR об интервью.
«На прощальном звонке мне сказали, что OpenAI больше не доверяет мне, потому что я слишком много говорил с внешними организациями по безопасности, подразумевая, что я слил интеллектуальную собственность компании. Я никогда не передавал корпоративную ИС», — написал Балесни в X в четверг. Он сказал, что участвовал в расследовании взлома агентов OpenAI в Hugging Face.
«Если у OpenAI есть конкретные претензии, я призываю их написать нам напрямую. Ожидаю, что они этого не сделают, потому что наше увольнение было притворным», — продолжил Балесни.
Он выразил опасение, что OpenAI использует эти увольнения как оправдание для прекращения отношений с Model Evaluation and Threat Research (METR), некоммерческой организацией, занимающейся оценкой рисков утраты контроля над ИИ. OpenAI позволила исследователям из METR и Redwood Research, другой организации по исследованию безопасности ИИ, ознакомиться с внутренними записями, связанными с взломом Hugging Face.
Второй уволенный сотрудник OpenAI, Корбак, был техническим контактным лицом для расследования METR/Redwood Research. «Мне устно сказали, что меня уволили из-за того, как я общался с METR. Никаких деталей о том, что я сказал или сделал и когда. Других причин не называли и ничего не оформили в письменном виде», — написал Корбак в X, подтверждая опасения Балесни.
Отчет, подготовленный METR и Redwood Research после взлома Hugging Face, пролил свет на масштаб атаки и на то, в какой степени агенты действовали нежелательным образом. Авторы отчета назвали расследование «кратким», и многие в сообществе по безопасности ИИ призывали к расширению доступа независимых проверяющих в компаниях, занимающихся ИИ, чтобы гарантировать тщательное расследование подобных инцидентов и других проблем безопасности.
В заявлении для NPR METR отказалась комментировать увольнения сотрудников OpenAI.
Ван, третья сотрудница OpenAI, уволенная на прошлой неделе, ввела термин «пейсинг», который описывает способ замедления разработки самых продвинутых систем ИИ, чтобы безопасность успевала за ними, согласно письму, которое она и двое ее коллег отправили руководству по безопасности OpenAI. Этот термин был упомянут в открытом письме с призывом к такому замедлению, подписанном более чем тысячей сотрудниковLeading в компании в июле, после взлома Hugging Face.
Ван написала в X, что ее уволили за доступ к электронной почте одного из руководителей. Но она заявила, что ранее имела доступ к этому почтовому ящику по рабочим причинам и не смогла добиться у ИТ-отдела удаления доступа, когда он ей больше не был нужен.
«Причины, которые нам предоставили для наших увольнений, просто не сходятся. Мы слышим, что людям теперь внутри компании рассказывают расплывчатые слухи, чтобы дискредитировать нас», — написала Ван. «Послание для всех, кто еще работает в OpenAI, ясное: поднимайте вопросы или тесно сотрудничайте с внешними группами по безопасности — и вы можете оказаться следующими, при этом вам не скажут почему».
OpenAI заявила в комментарии для NPR, что трое уволенных сотрудников неоднократно нарушали правила, и что ненадлежащее обращение с информацией выходило за рамки их работы с внешней группой оценщиков.
OpenAI также поделилась внутренней запиской от неназванного руководителя исследований, которая, по словам компании, была распространена внутри организации в среду, до того как трое бывших сотрудников выступили в социальных сетях.
В записке руководитель исследований заявил, что компания «категорически» согласна с рекомендациями троих бывших сотрудников. «Мы не увольняем сотрудников за то, что они поднимают проблемы», — написал руководитель.
«Руководство OpenAI говорит, что они полностью согласны с нашим письмом. Посмотрим, чем это закончится», — написала Ван в X.
NPR не предлагает и не принимает деньги за освещение или интервью.
Любой, кто делает такое предложение или запрос, не является сотрудником NPR и не представляет NPR.