Krótka odpowiedź
Kod wygenerowany przez sztuczną inteligencję (AI) należy traktować jako potencjalnie niebezpieczny, dopóki nie przejdzie odpowiednich kontroli. Nawet jeśli kod poprawnie wykonuje wyznaczone zadania, nie gwarantuje to jego bezpieczeństwa.
Przed wdrożeniem takiego kodu do systemu produkcyjnego należy przeprowadzić ekspercki przegląd kodu (code review), automatyczne testy bezpieczeństwa oraz analizę używanych bibliotek i zależności pod kątem znanych podatności.
AI pozwala znacznie przyspieszyć tworzenie oprogramowania, jednak zwiększanie ilości generowanego kodu bez odpowiedniego nadzoru może zwiększać ryzyko powstawania podatności. Dlatego odpowiedzialność za jakość, bezpieczeństwo i niezawodność oprogramowania powinna pozostać po stronie wykwalifikowanych inżynierów.
Niedawne informacje o krytycznych podatnościach w PHP i Node.js wykrytych z pomocą AI wywołały poruszenie w internecie. Ta historia ma jednak drugą stronę, której poświęca się znacznie mniej uwagi: bezpieczeństwo kodu generowanego przez to samo AI.
Najnowszy raport Veracode za 2026 rok ujawnił interesujące liczby:
- W 44% zadań generowania kodu powstał kod z wykrytymi podatnościami.
- W 2023 roku modele przechodziły 55% kontroli bezpieczeństwa. W 2026 roku — 56%.
W przypadku SQL injection modele przechodziły 83% kontroli. W przypadku XSS — zaledwie 15%.
Mimo postępu w generowaniu kodu wyniki Veracode nie wskazują na poprawę jego bezpieczeństwa.
Dlaczego AI potrafi jednocześnie znajdować podatności i je tworzyć?
Ponieważ umiejętność znalezienia podatności i zdolność zagwarantowania, że się jej nie wprowadzi, to dwa różne zadania.
LLM może wiedzieć, jak wygląda bezpieczny kod, ale nie oznacza to, że każdy wygenerowany fragment będzie odzwierciedlał tę wiedzę.
To prowadzi nas do najbardziej niepokojącej kwestii: skali.
Zbudowanie kompletnego produktu wysokiej jakości nadal wymaga wiedzy inżynierskiej, doświadczenia i czasu. Nowe technologie pozwalają jednak osobie nieznającej podstaw tworzenia oprogramowania zbudować z AI aplikację, połączyć bazę danych, uwierzytelnianie i płatności oraz udostępnić całość w internecie. Takich produktów stale przybywa.
Programiści też popełniają błędy.
Możesz powiedzieć, że programiści także się mylą i nie wszyscy w pełni rozumieją bezpieczeństwo — i będzie to całkowicie słuszne. Problem istniał przed upowszechnieniem generatywnego AI, ale branża ma pewną hierarchię specjalistów. W doświadczonych zespołach zadania związane z bezpieczeństwem danych i potencjalnie podatnymi elementami systemu zawsze trafiają do bardziej doświadczonych osób, a w dużych firmach istnieje nawet osobne stanowisko Security Engineer. Jest też kluczowa różnica: człowiek nie napisze w krótkim czasie tyle kodu co generatywna sztuczna inteligencja. Wracamy więc do problemu skali, ponieważ działa prosta zasada: więcej niekontrolowanego kodu oznacza duże prawdopodobieństwo większej liczby potencjalnie niebezpiecznych miejsc.
Co dalej?
Tymczasem rozwijają się otwarte modele AI, autonomiczni agenci i automatyczne narzędzia wyszukiwania podatności. Technologie te są dostępne zarówno specjalistom cyberbezpieczeństwa, jak i potencjalnym atakującym. Podatności można więc znajdować i wykorzystywać z niewiarygodną szybkością, co tworzy nowe zagrożenia.
Czy otwieramy puszkę Pandory?
Szczególnie zagrożone są dane osobowe, finansowe i inne dane wrażliwe. Dla firm działających w UE oznacza to także ryzyko naruszeń RODO i znaczących konsekwencji finansowych.
Co z tym zrobić?
W pełni zgadzam się z zaleceniem Veracode: kod generowany przez AI należy traktować jako potencjalnie niebezpieczny i zawsze sprawdzać przed integracją z głównym projektem. Trzeba analizować pod kątem podatności zarówno sam kod, jak i jego zależności. Wyniki testów potwierdzają, że szybkie wygenerowanie działającego kodu nie gwarantuje bezpieczeństwa, ponieważ standardowe testy funkcjonalne mogą nie wykryć ukrytych zagrożeń.
Wnioski
Przegląd kodu, automatyczne kontrole bezpieczeństwa, audyt zależności i wykorzystanie LLM jako dodatkowego narzędzia analizy to podstawowe minimum dla działających projektów tworzonych z GenAI i dostępnych przez internet.
Aktualizacja: