LLM 에이전트 공격·방어 연구의 대표 지표인 ASR(공격 성공률)이 사실상 6가지 설계 선택에 따라 달라지는 여러 지표의 묶음인데, 논문들이 그 선택을 거의 명시하지 않는다는 지적이다. 자동 분석한 259편 중 65.3%가 분산 추정이나 반복 실행을 보고하지 않았고, 디코딩 설정을 밝혀 평가의 확률성 여부를 판단할 수 있는 논문은 30.9%뿐이었다. LLM 저지를 쓴 64편 중 29.7%는 사람 라벨과의 일치도 검증이 없었다.
통계적 영향도 구체적이다. 100개 인스턴스 벤치마크에서 통상적 검정력 기준 최소 검출 가능 ASR 차이는 18.2%p이며, 실제 ASR 차이가 5%p일 때 단일 실행 평가는 약 21% 확률로 방어 기법의 우열을 뒤바꿔 매긴다. 벤더 자료나 논문의 "ASR 몇 % 감소" 수치로 가드레일 도입을 결정하기 전에, 반복 실행·분산·판정 방식이 명시돼 있는지부터 확인해야 한다는 뜻이다.
출처: arXiv