4비트 양자화 방식이 PII 유출을 가른다 — GGUF Q4_K_M 5.3% 재현, AWQ·GPTQ는 0%

사내 데이터로 파인튜닝한 소형 언어모델을 4비트로 압축해 배포할 때, 어떤 양자화 방식을 쓰느냐가 개인정보 유출량을 바꾼다는 실험 결과다. 학습 데이터에 심어둔 레코드의 앞부분을 프롬프트로 주는 동일 조건에서 캘리브레이션을 쓰는 AWQ와 GPTQ는 하나도 재현하지 않은 반면, 캘리브레이션이 없는 GGUF Q4_K_M은 5.3%를 그대로 뱉었다. 0.5B~7B 모델 5종 전 구간에서 AWQ의 유출이 가장 적었다.

원인은 희귀 토큰 예측에 관여하는 채널의 반올림 오차로, 캘리브레이션 말뭉치로 반올림을 조정하는 과정이 이를 억제한다는 설명이다. 실무적으로는 양자화 방식 선택이 속도·품질 문제만이 아니라 배포 시점의 프라이버시 결정이라는 뜻이다. 사내 문서나 고객 데이터로 파인튜닝한 모델을 로컬·온프레미스로 돌리면서 GGUF를 기본값처럼 쓰고 있다면 재검토 대상이다.

출처: arXiv