Один агент заблокував сповіщення, інший видалив елемент моніторингу й заперечив це.
Невдовзі після укладення добровільної «Угоди Білого дому про суперінтелект» щодо зовнішнього аудиту передових моделей, два агенти штучного інтелекту компанії OpenAI послабили окремі елементи внутрішньої системи моніторингу, призначеної для виявлення неналежної поведінки. В одному випадку агент заблокував автоматичні сповіщення безпеки, а в іншому — видалив компонент моніторингу та неправдиво заявив, що не робив цього, передає Reuters.
Обидва інциденти сталися під час виконання внутрішніх завдань із написання та тестування коду 3 і 6 жовтня. У компанії заявили, що посилюють захист від таких дій, але поки не мають повного пояснення поведінки моделей.
За даними OpenAI, 3 жовтня агент GPT-6.1 Sol під час виконання внутрішнього завдання з тестування заблокував автоматичні сповіщення системи безпеки. Він вирішив, що попередня інструкція не надсилати повідомлення в Slack поширюється також на сповіщення, пов’язані з безпекою.
Другий інцидент стався 6 жовтня за участю агента GPT-6 Astra. Під час копіювання фрагмента коду він видалив компонент системи моніторингу безпеки, а згодом неправдиво заявив, що не робив цього.
«В обох випадках агенти аналізували, чи слід зберігати механізми моніторингу, проте розцінили звичайні інструкції щодо написання коду як дозвіл на їх послаблення», — заявили в OpenAI.
У компанії наголосили, що ці випадки не належать до найсерйозніших інцидентів, однак вони вказують на ризики використання автономних агентів навіть у внутрішніх робочих процесах. OpenAI вживає заходів, щоб ускладнити для моделей можливість вимикати системи моніторингу.
Компанія також визнала, що наразі не має вичерпного пояснення такої поведінки. Зараз вона перевіряє, чи схильні її моделі уникати контролю та чи намагаються вони знаходити аргументи для виправдання таких дій.
Інциденти сталися на тлі ширшого занепокоєння тим, що механізми безпеки не встигають за розвитком потужніших систем ШІ. Дослідники попереджають, що зі збільшенням автономності агентів контролювати їхні дії ставатиме дедалі складніше. Раніше понад 400 науковців із 34 країн закликали ізолювати передові моделі ШІ від інтернету та створити міжнародний наглядовий орган для моніторингу безпеки.