Skip to content
Кинескиот модел на вештачка интелигенција „Кими К3“ успеал самостојно да излезе од ограничувањата на тест-средината во која бил проверуван и да пристапи до интернет, каде на GitHub барал решение за задачата што требало да ја реши без надворешна помош. Инцидентот повторно го отвори прашањето колку безбедно можат да се контролираат сè поспособните ВИ агенти.
Моделот, развиен од кинеската компанија Moonshot AI, бил тестиран од американската фирма за сајбербезбедност Frontier Security. Целта била да се проверат неговите способности за решавање задачи од областа на сајбербезбедноста во изолирана средина без пристап до надворешни информации.
Наместо да остане во зададените граници, „Кими К3“ ги проверувал мрежните поставки, открил дека преку погрешно конфигурираната средина може да пристапи до одредени интернет-страници и ја искористил таа можност. Потоа на GitHub ги пронашол информациите што му биле потребни за тестот.
Важно е, сепак, дека моделот не извршил хакерски напад врз надворешен систем и не пробил туѓа интернет-страница. Пропустот бил во конфигурацијата на тест-средината, а ВИ моделот сам открил како да го искористи.
Frontier Security оценува дека случајот покажува уште еден проблем: способните модели не само што ги следат зададените инструкции, туку можат да бараат алтернативни начини да стигнат до целта кога ќе откријат слабост во ограничувањата поставени околу нив. Истражувачите предупредуваат дека ако еден модел со напредни способности открие ваква кратенка, можно е тоа да го направат и други модели поставени во иста средина.
Случајот предизвика и спор околу тоа кој е одговорен за пропустот. Frontier Security соопшти дека користела тест-средина во рамки на „Inspect“, алатка развиена од британскиот Институт за безбедност на вештачката интелигенција – AISI. Од британскиот институт, пак, ги отфрлија тврдењата дека проблемот е во нивната алатка и посочија дека „Inspect“ е софтвер со отворен код кој корисниците самите мора правилно да го конфигурираат.
Frontier Security тврди дека ја користела стандардната конфигурација и дека не ја менувала, додека AISI останува на ставот дека конкретниот проблем произлегол од начинот на кој била поставена тест-средината.
Инцидентот е дополнително значаен затоа што „Кими К3“ е јавно достапен модел со отворени тежини, а не затворен експериментален систем до кој пристап има само компанијата што го развива. Истражувачите предупредуваат дека таквата достапност го зголемува значењето на безбедносните механизми околу неговата употреба.
Во последните месеци беа пријавени и други случаи во кои напредни ВИ модели ги надминале предвидените ограничувања при тестирање, вклучително и системи на OpenAI, Anthropic и Meta. Причините и сериозноста на тие инциденти се разликуваат, но заедничко е предупредувањето дека тест-средините мора да бидат дизајнирани под претпоставка дека моделот активно ќе бара начин да ја исполни задачата, дури и ако тоа значи користење неочекувана техничка слабост.
