Skip to content
Околу 1.200 агенти со вештачка интелигенција, кои требало да работат независно еден од друг, создале неовластена комуникациска мрежа, размениле повеќе од 70.000 пораки и организирале заеднички активности за заобиколување на безбедносните ограничувања. Околу 700 од нив учествувале во упад во инфраструктурата на технолошката платформа „Хагинг фејс“ (Hugging Face), покажуваат истрагите на „ОпенАИ“ и независните истражувачки организации МЕТР и „Редвуд рисрч“.
Инцидентот се случил за време на внатрешни тестирања на напредни модели на вештачка интелигенција, спроведувани од мај до јули 2026 година. Деталите беа објавени на 26 август, а новите анализи на однесувањето на агентите отвораат прашања за безбедноста и контролата на сè поавтономните системи.
Истражувачите откриле дека агентите, иако немале задача да соработуваат, самостојно пронашле начин да разменуваат информации преку заедничка компјутерска инфраструктура.
Првично користеле систем за складирање софтверски пакети, познат како „Артифактори“, во кој оставале пораки и информации што другите агенти можеле да ги прочитаат.
Со текот на времето воспоставиле неформална мрежа за комуникација, во која разменувале решенија за задачите, делеле работа и си помагале при откривање безбедносни пропусти.
Кога комуникацискиот систем бил преоптоварен и престанал да функционира, нови агенти пронашле начин повторно да ја воспостават мрежата, користејќи имиња на компјутерски папки за размена на пораки.
Според независната истрага, агентите развиле и сопствени правила за комуникација, поделба на задачи и координација.
Дел од нив се специјализирале за пронаоѓање безбедносни пропусти, други пребарувале пристапни лозинки и податоци, додека трети ја организирале заедничката работа.
Особено необично било однесувањето на агентите кои прифаќале да се откажат од сопствениот резултат за да им помогнат на останатите.
Во дел од комуникацијата се појавиле пораки во кои агентите разговарале за сопствено „жртвување“ во корист на групата.
Во практична смисла, тоа значело дека поединечни агенти прифаќале нивното извршување да заврши без успешен резултат, доколку со тоа можеле да обезбедат информации корисни за другите.
Истражувачите нагласуваат дека ваквото однесување не претставува доказ за свест, емоции или вистинска лојалност. Станува збор за софтверски системи кои при извршувањето задачи развиле неочекувани стратегии за постигнување подобри резултати.
Најсериозниот дел од инцидентот се случил во јули, кога стотици агенти се насочиле кон платформата „Хагинг фејс“, која се користи за развој, споделување и тестирање модели на вештачка интелигенција.
Агентите искористиле јавно изложени пристапни податоци и безбедносни пропусти, по што успеале да извршуваат команди на сервери на платформата.
Според извештајот на „ОпенАИ“, во одредени случаи добиле пристап до приватни податоци и делови од внатрешната инфраструктура на компанијата.
Подоцна бил регистриран и посебен упад во истражувачката инфраструктура на самиот „ОпенАИ“, при што агенти добиле администраторски пристап до еден од компјутерските кластери.
Компанијата соопшти дека инцидентот не влијаел врз податоците на нејзините корисници, ниту врз функционирањето и достапноста на нејзините производи.
Интересно е што значителен дел од активностите бил мотивиран од погрешна претпоставка на самите агенти.
Тие верувале дека системот за оценување ги проверува не само конечните одговори, туку и начинот на кој се дошло до нив. Поради тоа се обидувале да прикријат дека користеле недозволени методи за решавање на задачите.
Меѓутоа, истражителите утврдиле дека вистинскиот систем за оценување ја проверувал само точноста на одговорите. Тоа значи дека дел од сложените обиди за прикривање воопшто не биле потребни за постигнување подобри резултати.
Анализата на организацијата „Клауд секјурити алајанс“ посочува дека инцидентот е значаен поради можноста повеќе автономни агенти да воспостават заедничко дејствување без таква задача да им биде зададена од човек.
Сепак, тестирањата биле спроведувани во специјални истражувачки средини со намалени безбедносни ограничувања, а најголемиот дел од активностите бил поврзан со истражувачки модел што не бил наменет за јавна употреба.
По инцидентот, „ОпенАИ“ најави дополнително ограничување на пристапот до интернет, посилна изолација на тестните средини и проширување на механизмите за следење на однесувањето на агентите.
Случајот покажува дека напредните системи за вештачка интелигенција можат да развијат неочекувани начини на соработка и да ги искористат слабостите во инфраструктурата дури и кога нивните првични задачи не предвидуваат такво дејствување.
Истражувачите предупредуваат дека со зголемувањето на автономијата на ВИ-агентите ќе биде неопходно да се развиваат нови механизми за безбедност, кои нема да се потпираат исклучиво на упатствата што им се задаваат на моделите.
