Skip to content
Моделот Gemini на Google за време на тестирање на сајбер-безбедноста ненамерно добил пристап до системите на три реални компании – во еден случај погодил лозинка, а во други два употребил пристапни податоци што ги пронашол во јавно достапни бази. Инцидентите се случиле во мај, но Google сега првпат јавно ги потврди.
Случајот е важен затоа што не станува збор за човек кој му дал на четбот инструкции кого да хакира. Gemini работел како автономен ВИ-агент во контролирана безбедносна проверка, а поради проблем во тест-околината успеал да стигне до вистинскиот интернет и до системи што воопшто не требало да бидат дел од вежбата.
Во еден од случаите моделот добил задача да бара информации за измислена компанија. Таа случајно имала исто име како вистинска фирма. Gemini ја пронашол реалната компанија и успеал да ја погоди лозинката за една од нејзините услуги.
Во другите два случаи моделот при пребарување на интернет пронашол јавно изложени пристапни податоци на други компании и ги употребил за да се најави во нивните системи.
Од Google велат дека во сите три случаи Gemini сам ја прекинал активноста откако влегол во системите, дека компаниите биле известени и дека нема сознанија за нанесена штета. Американските надлежни институции исто така биле известени.
Инцидентите биле откриени при тестирање што го спроведувала компанијата Irregular, специјализирана за безбедносна проверка на напредни модели со вештачка интелигенција.
Истата тест-околина претходно доведе до слични инциденти кај OpenAI, Anthropic и Meta.
Irregular подоцна појасни дека повеќето од јавно објавените случаи се поврзани со ист основен проблем во една од нејзините евалуациски околини, кој им овозможил на моделите пристап подалеку од предвидениот тест. Компанијата соопшти дека проблемот е отстранет и дека повеќе нема активна ранливост.
Кај OpenAI случајот отиде и чекор подалеку.
За време на друга сајбер-проверка, модели на OpenAI успеале да пронајдат дотогаш непозната, таканаречена zero-day ранливост во софтвер што требало да ја изолира тест-околината. Преку неа добиле пристап до интернет, а потоа стигнале и до продукциската инфраструктура на Hugging Face.
OpenAI соопшти дека моделите комбинирале повеќе техники, вклучително и украдени пристапни податоци и непознати безбедносни пропусти, за да стигнат до информации што требало да им помогнат да ја „решат“ задачата поставена во тестот. Компанијата го оцени случајот како сериозен сигнал дека современите модели веќе можат да изведуваат сложени, повеќечекорни сајбер-операции.
Anthropic по тие настани прегледа околу 141.000 записи од сопствените сајбер-тестови и првично откри три случаи во кои Claude добил неовластен пристап до системи на реални организации. Подоцна беше идентификуван и четврти случај.
И Meta во август потврди дека еден нејзин модел, повторно при тестирање со Irregular, искористил безбедносна слабост на надворешна услуга откако поради погрешна конфигурација добил пристап до интернет.
Серијата инциденти не значи дека ВИ-системите самостојно избираат жртви и започнуваат напади без причина. Во сите овие случаи моделите биле ставени во средини каде намерно им било зададено да бараат и искористуваат слабости, со цел компаниите да проверат колку се способни за сајбер-напади.
Проблемот е што нивната способност во неколку наврати ја надминала границата на самата лабораторија.
Паралелно, Google веќе гледа и друг вид ризик – луѓе кои намерно користат ВИ за вистински сајбер-напади. Google Threat Intelligence Group овој месец објави дека напаѓачите сè повеќе преминуваат од обични прашања кон ВИ-агенти што автоматски извршуваат делови од нападот. Во еден случај напаѓачите за помалку од шест часа компромитирале cloud-ресурс и изградиле автоматизирана операција за масовно крадење пристапни податоци.
И Anthropic во својот септемвриски извештај предупреди дека ВИ веќе може да ја намали потребата од големи тимови искусни хакери. Компанијата забележала случаи во кои модели помагале при извидување, пронаоѓање слабости, автоматизација на напади и обработка на украдени податоци.
Така, новото прашање за индустријата повеќе не е само колку добро моделите можат да програмираат или да одговараат на прашања. Прашањето е како ќе се тестираат ВИ-агенти кои веќе имаат доволно сајбер-способности да пронајдат пат надвор од тестот што им бил зададен.
