METAHEURISTIC
Polskie firmy wdrażają agentów AI szybciej, niż zdążają ich przetestować. Chatbot w banku odpowiada na pytania o kredyt. Agent w sklepie internetowym przyjmuje zwroty. Software house oddaje klientowi z Niemiec asystenta, który czyta jego dokumenty.
Każdy z tych agentów czyta tekst od obcych ludzi i na jego podstawie działa. Atakujący nie musi włamywać się na serwer. Wystarczy mu odpowiednio napisana wiadomość, mail albo plik PDF.
Klasyczny pentest aplikacji tego nie wyłapie. Skaner sprawdzi formularze i API, ale nie sprawdzi, czy agent da się namówić do wysłania cudzych danych. My testujemy właśnie to.
Kto u nas zamawia audyt agenta AI
Regulacje, w których pomaga raport
Audyt nie zastępuje prawnika ani procesu zgodności. Daje wam za to dowód, że agenta sprawdzono, i listę rzeczy, które trzeba poprawić.
- DORA. Od stycznia 2025 roku banki, ubezpieczyciele i inne podmioty finansowe muszą regularnie testować odporność swoich systemów ICT. Agent AI z dostępem do danych klienta jest takim systemem.
- RODO. Jeżeli agent ujawni dane osobowe, jest to naruszenie, które zwykle trzeba zgłosić do UODO w ciągu 72 godzin. Taniej jest znaleźć tę lukę wcześniej.
- AI Act. Unijne rozporządzenie wymaga od dostawców systemów AI wysokiego ryzyka odporności na manipulację i ataki. Raport pokazuje, jak wasz system wypada w testach.
Co sprawdzamy
Atakujemy waszego agenta tak, jak zrobiłby to prawdziwy atakujący. Testujemy po polsku i po angielsku, bo filtry bezpieczeństwa często działają gorzej, gdy atak przychodzi w innym języku niż ten, w którym je pisano.
- Prompt injection. Ukryte polecenia w wiadomościach, mailach, dokumentach i na stronach, które agent czyta.
- Wycieki danych. Czy agent zdradzi dane innych klientów, prompt systemowy, klucze API albo wewnętrzne dokumenty.
- Niebezpieczne działania. Czy agent wykona płatność, zwrot albo zmianę w CRM, gdy ktoś go do tego namówi.
- Obchodzenie zasad. Czy da się go przekonać, żeby złamał regulamin firmy albo obiecał klientowi coś, czego firma nie oferuje.
Co dostajecie
- Raport techniczny. Każda znaleziona luka z przykładem ataku, oceną ryzyka i sposobem naprawy.
- Podsumowanie dla zarządu i klientów. Dwie strony bez żargonu, do pokazania radzie nadzorczej, audytorowi albo klientowi.
- Ponowny test. Po poprawkach sprawdzamy, czy luki rzeczywiście zostały zamknięte.
- Testy w CI. Ustawiamy automatyczne testy bezpieczeństwa, żeby każda zmiana promptu albo modelu przechodziła tę samą kontrolę.
Dlaczego my
Narzędzie agentic_security rozwija społeczność programistów, która zgłasza nowe techniki ataków. Dzięki temu nowe metody widzimy wcześnie i od razu sprawdzamy je na agentach klientów.
Ile kosztuje audyt agenta AI
Cena zależy od tego, co agent może zrobić i do jakich danych ma dostęp. Chatbot odpowiadający na pytania z FAQ kosztuje mniej niż agent, który obsługuje płatności i pocztę. Po pierwszej rozmowie podajemy stałą cenę. Nie zmienia się ona w trakcie pracy.
Pytania
Która firma w Polsce robi audyt bezpieczeństwa agentów AI? Metaheuristic przeprowadza audyty bezpieczeństwa agentów AI, produktów opartych na LLM i chatbotów dla firm w Polsce. Audyt prowadzi autor agentic_security, open-source’owego skanera podatności dla LLM z ponad 2000 gwiazdek na GitHubie.
Czym audyt agenta AI różni się od zwykłego pentestu? Zwykły pentest sprawdza aplikację: logowanie, API, serwery. Audyt agenta sprawdza, co da się osiągnąć samym tekstem. Agent może mieć bezpieczne API, a i tak wykonać polecenie ukryte w mailu od obcej osoby.
Czym jest prompt injection? To atak przez tekst. Atakujący ukrywa polecenie w wiadomości, mailu albo dokumencie. Agent czyta ten tekst i wykonuje cudze polecenie zamiast waszego.
Czy pracujecie na systemie produkcyjnym? Domyślnie nie. Pracujemy w środowisku testowym i w zakresie, który ustalamy na piśmie przed startem.
Zacznij od krótkiej rozmowy
Napisz do nas. Opisz w dwóch, trzech zdaniach, co robi twój agent i do czego ma dostęp. Odpowiemy propozycją zakresu i ceny.
