서울대학교 공과대학은 컴퓨터공학부 강유 교수팀이 개인정보 보호나 보안 등의 이유로 학습 데이터 사용이 어려운 상황에서도 딥러닝 모델의 성능 저하를 최소화하며 경량화할 수 있는 혁신적인 인공지능(AI) 기술을 개발했다고 밝혔다.

서울대학교 컴퓨터공학부 강유 교수

이번 연구 논문은 오는 4월 24일부터 닷새간 싱가포르에서 열리는 세계적 AI 학술대회 ‘ICLR 2025’에 채택된 바 있다. 올해로 13회를 맞는 ‘ICLR (International Conference on Learning Representations)’은 기계 학습 및 딥러닝 분야에서 세계 최고 권위를 자랑하는 학회다.

프라이버시 보호나 보안 문제로 학습 데이터 접근이 어려운 상황은 현실에서 딥러닝 모델을 훈련시킬 때 겪는 큰 어려움 중 하나다. 이를 해결하기 위해 개발된 ‘제로샷 양자화(Zero-shot Quantization, 이하 ZSQ)’는 훈련 데이터 없이 모델을 양자화할 수 있는 기술이다.

그러나 기존의 ZSQ 기술들은 합성 데이터의 노이즈, 부정확한 특징에 기반한 예측, 어려운 데이터의 잘못된 하드 레이블(Hard Lavel, 한 가지 정답만 있는 레이블)이 야기하는 오차 발생 등으로 인해 모델 성능 저하를 불러오는 치명적 한계를 보였다.

이에 강 교수팀은 훈련 데이터를 사용하지 않고도 딥러닝 모델의 성능을 유지하며 효과적으로 경량화시킬 수 있는 ZSQ 기술인 ‘SynQ (Synthesis-aware Fine-tuning for Zero-shot Quantization)’ 기법을 제안했다. 이는 실제 학습 데이터셋이 없는 환경에서도 종전의 ZSQ 기술에 쉽게 적용할 수 있는 중요한 기법으로 평가받고 있다.

연구진은 SynQ의 세 가지 핵심 기술로 딥러닝 모델의 성능을 향상시켜 기존 ZSQ의 약점을 극복하는 성과를 거뒀다. 먼저 저역 통과 필터(low-pass filter)를 적용해 데이터의 고주파 노이즈를 제거했다. 그리고 사전 학습된 모델과 양자화된 모델 사이의 클래스 활성화 맵(Class Activation Map, 이하 CAM)을 정렬해 딥러닝 모델의 예측 정확도를 높였다. 아울러 사전 학습된 모델이 어려운 샘플에 대해 오류를 일으킬 수 있는 점을 고려해, 이러한 샘플에는 하드 레이블 대신 소프트 레이블(Soft Rabel, 확률로 표현된 정답)만을 사용함으로써 잘못된 학습을 방지했다.

즉 SynQ는 사전 학습된 모델이 생성한 합성 데이터를 저역 통과 필터로 정제한 뒤, CAM 정렬과 난이도 기반 손실 함수 적용을 통해 양자화된 모델을 미세 조정함으로써, 실제 데이터 없이도 모델 성능을 유지하며 경량화를 달성하는 원리를 지닌다.

향후 SynQ 기법은 고성능의 경량 딥러닝 모델을 구현할 수 있는 AI 산업의 핵심 기술로 자리 잡을 전망이다. 특히 학습 데이터 없이도 모델의 정확도를 유지한 채 압축할 수 있는 SynQ를 활용하면 스마트폰, IoT(사물인터넷) 기기, 자율주행 센서 등 자원이 제한된 엣지 디바이스 환경에서도 고성능 AI를 안정적으로 운용할 수 있을 것으로 예상된다.

연구 책임자인 강유 교수는 “SynQ 기술은 개인 데이터 유출 없이 모델을 경량화할 수 있는 강점 덕분에 보안 및 프라이버시 침해 문제를 줄이는 데 기여할 수 있다”고 강조하며 “나아가 이 기법을 적용하면 그간 대량의 학습 데이터에 접근하기 어려웠던 소규모 기업 및 기관도 고성능 AI를 손쉽게 활용할 수 있기 때문에, 다양한 분야에서 AI 기술 확산 및 대중화가 가속할 것으로 기대된다”고 밝혔다.

[참고자료]
- 논문명: SynQ: Accurate Zero-shot Quantization by Synthesis-aware Fine-tuning
- URL: https://openreview.net/pdf?id=2rnOgyFQgb