활동 목표: LG Aimers 강의 4차 정리활동 결과: 1. 개요기존 계획에 따르면, 현재 열리고 있는 LG Aimers라는 대회의 준비 과정인 강의를 수강한 후 정리하는 것이었지만벌써 대회가 시작되고 많은 시간이 지나버렸다...!그래서 대회의 기반 모델인 EXAONE 4.0 1.2B 모델을 하나하나 파헤쳐보기 위한 EXAONE 4.0 논문 리뷰를 진행하려고 했다!따라서 대회의 주제인 EXAONE 모델 경량화를 위해 EXAONE 모델의 레이어 구조를 뜯어보고 다양한 양자화 기법들에 대한 이야기를 하겠다. 2. EXAONE 4.0 1.2B EXAONE 모델은 Sliding window를 사용하는 Hybrid Attention 구조이다.EXAONE 모델은 거대한 32B 모델과 on-device로 사용하기 ..