2026/02 2

[2026 동계 모각코] 모각코 회고

이번 모각코 활동에서의 목표는 1. 인공지능 기초 다지기2. 인공지능 활용 익히기라고 모각코 활동 계획에 작성하였다. 이를 바탕으로 이번 2026 동계 모각코 회고를 작성해보려고 한다. 1. 인공지능 기초 다지기이번 활동을 통해 특히 2회차의 Transformer의 Attention 구조에 대해 자세히 탐구하며 인공지능 기초에 대한 이해가 높아졌다고 말할 수 있을 것 같다.또한 LG Aimers의 강의를 수강하며 Fine Tuning에 대한 기초 개념도 자세히 알아갈 수 있었으며, 모델 경량화같은 평소에 크게 관심을 가지지 않았던 인공지능의 기초 분야에 대해 알아갈 수 있었던 것 같다. 2. 인공지능 활용 익히기이것은 현재 진행형이라고 말할 수 있을 것 같다.현재 LG Aimers라는 대회를 EXAONE..

모각코 2026.02.18

[2026 동계 모각코] 6회차 활동 결과 - EXAONE Quantization

활동 목표: LG Aimers 강의 4차 정리활동 결과: 1. 개요기존 계획에 따르면, 현재 열리고 있는 LG Aimers라는 대회의 준비 과정인 강의를 수강한 후 정리하는 것이었지만벌써 대회가 시작되고 많은 시간이 지나버렸다...!그래서 대회의 기반 모델인 EXAONE 4.0 1.2B 모델을 하나하나 파헤쳐보기 위한 EXAONE 4.0 논문 리뷰를 진행하려고 했다!따라서 대회의 주제인 EXAONE 모델 경량화를 위해 EXAONE 모델의 레이어 구조를 뜯어보고 다양한 양자화 기법들에 대한 이야기를 하겠다. 2. EXAONE 4.0 1.2B EXAONE 모델은 Sliding window를 사용하는 Hybrid Attention 구조이다.EXAONE 모델은 거대한 32B 모델과 on-device로 사용하기 ..

모각코 2026.02.18