정적 분석 통과 = 안전 아니다 — Bandit·Semgrep 통과 코드 654건 중 95건이 실제 익스플로잇 성공

LLM이 생성했거나 보안에 민감한 Python 코드 1,355건을 대상으로 "정적 통과-동적 실패(SPDF)" 격차를 측정한 연구입니다. Bandit·Semgrep 정적 스캔 → LLM 기반 CWE 추론 → 도커 격리 환경에서 자동 익스플로잇 검증의 3단계 파이프라인을 돌린 결과, 정적 분석을 통과한 654건 중 235개 파일에서 394건의 의심 취약점이 지목됐고 그중 95개 파일에서 실제 악용이 확인됐습니다(전체 탐지율 14.53%). 데이터셋별 확인율은 RedCode 33.7%, CyberNative 28.6%, SecurityEval 5.4%로 편차가 컸습니다.

CWE-338(부적절한 난수 생성), CWE-916(약한 해시 계산) 같은 부류는 정적 도구 양쪽 모두가 놓쳤습니다. AI 코딩 도구 산출물을 SAST 게이트 하나로 승인하는 CI 파이프라인을 쓰고 있다면, 난수·암호·시크릿 취급 지점만이라도 별도 룰이나 리뷰를 두는 편이 안전합니다.

출처: arXiv