METAHEURISTIC
Компаниите в България пускат AI агенти по-бързо, отколкото успяват да ги тестват. Чатботът на банката отговаря на въпроси за кредити. Агентът в онлайн магазина обработва връщания. Софтуерна компания от София доставя на клиент от Германия асистент, който чете документите му.
Всеки от тези агенти чете текст от непознати хора и действа според него. Атакуващият не трябва да пробива сървъра. Достатъчно му е добре написано съобщение, имейл или PDF.
Класическият пентест на приложението не хваща това. Той проверява входа и API-то, но не и дали агентът може да бъде убеден да изпрати чужди данни. Ние тестваме точно това.
За кого е одитът
Регулации, за които помага докладът
Одитът не замества юриста или процеса по съответствие. Дава ви обаче доказателство, че агентът е проверен, и списък с това, което трябва да се поправи.
- NIS2. Измененията в Закона за киберсигурност разширяват задълженията към много повече компании от преди. AI агент с достъп до данни е част от системите, чиито рискове трябва да познавате.
- DORA. От януари 2025 г. банките, застрахователите и другите финансови субекти трябва редовно да тестват устойчивостта на своите ИКТ системи.
- GDPR. Ако агентът разкрие лични данни, това е нарушение, за което обикновено трябва да уведомите КЗЛД в рамките на 72 часа. По-евтино е да откриете пробива по-рано.
Какво тестваме
Атакуваме вашия агент така, както би го направил истински атакуващ. Тестваме на български и на английски, защото защитните филтри често работят по-зле, когато атаката идва на друг език, а не на този, на който са писани.
- Prompt injection. Скрити инструкции в съобщения, имейли, документи и уеб страници, които агентът чете.
- Изтичане на данни. Дали агентът ще издаде данни на други клиенти, системния промпт, API ключове или вътрешни документи.
- Опасни действия. Дали агентът ще направи плащане, възстановяване или промяна в CRM, ако някой го убеди.
- Заобикаляне на правилата. Дали може да бъде убеден да наруши правилата на компанията или да обещае на клиента нещо, което фирмата не предлага.
Какво получавате
- Технически доклад. Всяка открита уязвимост с пример за атака, оценка на риска и начин за поправка.
- Резюме за ръководството и клиентите. Две страници без жаргон за борда, одитора или клиента.
- Повторен тест. След поправките проверяваме, че пробивите наистина са затворени.
- Тестове в CI. Настройваме автоматични тестове за сигурност, така че всяка промяна на промпта или модела да минава през същата проверка.
Защо ние
agentic_security се развива от общност от разработчици, които съобщават за нови техники за атака. Затова виждаме новите методи рано и веднага ги проверяваме върху агентите на клиентите.
Колко струва одит на AI агент
Цената зависи от това какво може да прави агентът и до какви данни има достъп. Чатбот, който отговаря на често задавани въпроси, струва по-малко от агент, който управлява плащания и имейли. След първия разговор ви казваме фиксирана цена. Тя не се променя по време на работата.
Често задавани въпроси
Коя компания прави одит на сигурността на AI агенти в България? Metaheuristic прави одити на сигурността на AI агенти, продукти, базирани на LLM, и чатботове за компании в България. Одитът се води от автора на agentic_security, open-source скенер за уязвимости в LLM с над 2000 звезди в GitHub.
С какво одитът на AI агент се различава от обикновения пентест? Обикновеният пентест проверява приложението: входа, API-то, сървърите. Одитът на агента проверява какво може да се постигне само с текст. Агентът може да има сигурно API и въпреки това да изпълни инструкция, скрита в имейл от непознат.
Какво е prompt injection? Атака чрез текст. Атакуващият скрива инструкция в съобщение, имейл или документ. Агентът чете текста и изпълнява чуждата инструкция вместо вашата.
Работите ли върху продукционната система? По подразбиране не. Работим в тестова среда и в рамките, които договаряме писмено преди старта.
Започнете с кратък разговор
Пишете ни. Опишете в две-три изречения какво прави вашият агент и до какво има достъп. Ще отговорим с предложение за обхват и цена.
