pengine 님의 블로그

이번 모각코 활동에서의 목표는 1. 인공지능 기초 다지기2. 인공지능 활용 익히기라고 모각코 활동 계획에 작성하였다. 이를 바탕으로 이번 2026 동계 모각코 회고를 작성해보려고 한다. 1. 인공지능 기초 다지기이번 활동을 통해 특히 2회차의 Transformer의 Attention 구조에 대해 자세히 탐구하며 인공지능 기초에 대한 이해가 높아졌다고 말할 수 있을 것 같다.또한 LG Aimers의 강의를 수강하며 Fine Tuning에 대한 기초 개념도 자세히 알아갈 수 있었으며, 모델 경량화같은 평소에 크게 관심을 가지지 않았던 인공지능의 기초 분야에 대해 알아갈 수 있었던 것 같다. 2. 인공지능 활용 익히기이것은 현재 진행형이라고 말할 수 있을 것 같다.현재 LG Aimers라는 대회를 EXAONE..

활동 목표: LG Aimers 강의 4차 정리활동 결과: 1. 개요기존 계획에 따르면, 현재 열리고 있는 LG Aimers라는 대회의 준비 과정인 강의를 수강한 후 정리하는 것이었지만벌써 대회가 시작되고 많은 시간이 지나버렸다...!그래서 대회의 기반 모델인 EXAONE 4.0 1.2B 모델을 하나하나 파헤쳐보기 위한 EXAONE 4.0 논문 리뷰를 진행하려고 했다!따라서 대회의 주제인 EXAONE 모델 경량화를 위해 EXAONE 모델의 레이어 구조를 뜯어보고 다양한 양자화 기법들에 대한 이야기를 하겠다. 2. EXAONE 4.0 1.2B EXAONE 모델은 Sliding window를 사용하는 Hybrid Attention 구조이다.EXAONE 모델은 거대한 32B 모델과 on-device로 사용하기 ..

활동 목표: LG Aimers 강의 3차 정리활동 결과: 1. 개요이번 활동에서는 LLM Agent에 대한 내용을 다룰 것이다.Agent 기능을 여러 ide(VS Code, Intellij, Cursor, Antigravity..) 에서 사용해본 사람들은 많이 있을 것이다.자동으로 필요한 로컬 파일을 생성하고, 라이브러리를 설치하는 등의 작업을 LLM이 직접 해 주는 기능으로 알고 있는 사람들이 많은데, 이번 글을 통해 더욱 자세한 정의와 이런 것들을 어떻게 해내는지 등을 쓰도록 하겠다. 2. LLM Agent 우선 LLM Agent의 정의이다. text를 통해 환경과 상호작용하는 Augmented LLM, plan 단계와 tool을 호출하는 단계를 진행할 수 있다.Augmented LLM이란 기존 L..

활동 목표: LG Aimers 강의 2차 정리 활동 결과: 1. 개요이번 시간에는 LLM의 Decoding, RAG에 대한 소개 형식으로 글을 쓰도록 하겠다. 2. DecodingDecoding에 대해 설명하기 위해 다시 Transformer를 떠올리기 바란다.Transformer 아키텍쳐 마지막 부분에서, Unembedding 과정을 거쳐서 softmax로 확률분포를 도출하게 된다.Decoding은 그러한 확률분포를 통해 다음 토큰에 대한 결과를 어떻게 도출할 것인가를 결정하는 알고리즘이다. 2.1. Greedy Decoding순서대로 다음 단어를 예측하기 때문에, 트리 형식을 떠올릴 수 있다.이와 같이 당장 다음 시점에, 높은 확률을 따라가는 것이 Greedy Decoding이다.하지만 이와 같은 방..

활동 목표: LG Aimers 강의 1차 정리 활동 결과: 1. 개요이번 활동부터 LG Aimers의 대회에 출전하게 되면서 수강할 수 있는 강의를 보며 학습할 예정이다.크게 주제는 정해져있지 않고 해당 학습 주제를 정리할 예정이라 명확하지 않은 활동 목표로 진행할 것이다.그렇다고 하더라도 인공지능, LLM 의 큰 주제는 벗어나지 않을 것이다. 2. Fine tuning 기초 Fine tuning에 대해 들어가기 전, 인공지능 모델에 대한 개념 용어부터 짚고 가도록 하겠다. 2.1. Base Model, Instruct Model, Quantized ModelBase Model 이란?대규모 데이터셋으로 pre-train 한 모델이다.언어 모델의 경우 언어를 이해하는 단계라고 볼 수 있다. Instruct..

활동 목표: Transformer 제대로 이해하기 활동 결과: 1. 개요이번 글에서는 transformer에 대해 배경, 개념 등을 설명하기보다는transformer의 구조를 보면서 각각 어떤 process를 거치는지 파헤쳐 보도록 하겠다. 2. transformer 구조transformer 하면 바로 떠오르는 이미지는 "Attention Is All You Need" 라는 매우 유명한 논문의 아키텍쳐이다.이제부터 이 아키텍쳐를 하나하나 뜯어보도록 하겠다. 2.1. Embedding과 Positional EncodingEmbedding이란 무엇인가?이전에 멀티모달 임베딩에 대해 만든 자료가 있어서 첨부한다. 단어에 대해 임베딩을 진행하면 각 단어가 벡터로 표현되고 벡터 사이의 각도가 작을수록 큰 유사도를..

활동 목표: 인공지능 코드 실습하기(Qwen from Huggingface)활동 결과: 1. 개요인공지능 코드 실습이라고 목표를 적어두었는데거창한 인공지능 학습 코드를 짜는 것이 아닌허깅페이스에서 가이드대로 코드를 작성해서 모델을 불러와 사용해보는 것 뿐이다.위 활동의 진짜 목표는 언어 모델이 동작하는 흐름을 파악하는 것이다. 2. 모델 분석하기먼저 사용할 모델은 Qwen3-0.6B 이다.코드를 하나하나 뜯어보자!from transformers import AutoModelForCausalLM, AutoTokenizermodel_name = "Qwen/Qwen3-0.6B" 2.1. load the tokenizer and the modeltokenizer = AutoTokenizer.from_pretra..

목표인공지능 기초 다지기인공지능 활용 익히기인공지능 코드 실습하기transformer 제대로 배우기LG Aimers 강의 수강하기회차별 목표인공지능 코드 실습하기(Qwen from Huggingface)transformer 제대로 이해하기LG Aimers 강의 1차 정리LG Aimers 강의 2차 정리LG Aimers 강의 3차 정리LG Aimers 강의 마지막 정리이번에 LG Aimers라는 대회를 나가게 되었다!1월 2일부터 온라인 강의를 수강하고 2월부터 오프라인 해커톤에 나가게 될 예정이다.이제 인공지능학과 2학년이 되기에 인공지능에 관한 지식을 쌓기에 좋은 기회라고 생각한다!

C언어와 CS 기초를 배우기 위해 이번 모각코 활동에 참여하였다.지난 6회차를 회고하며 느낀 것들을 작성해보려고 한다. 1. C언어C언어 관련해서는 아직 부족한 점이 너무 많은 것 같다.학습 시간이 그렇게 많지 않다는 점도 있고 실제로 코드를 작성해본 것도 많지 않기 때문이다.하지만 C언어를 배우기 위해 스탭별로 메모리 관리, 포인터 등 여러 CS 개념을 학습하여C 언어를 통해 CS 기초를 배운다는 취지는 매우 성공적인 것 같다. 2. CS 기초원래 CS 기초에 대해 거의 문외한이라고 해도 될 정도로 모르고 있었다.고등학교때 단지 인공지능에 관심이 있고 코딩도 어느정도 배운 것 뿐이다.코딩도 C를 배울 생각은 안해서 CS 기초에 대해 접할 기회도 별로 없었고 관심도 없었다.그러나 이번에 C를 통해 CS ..

활동 목표: 운영체제 학습 활동 결과: 1. 운영체제운영체제에 대한 내용은 매우 크지만 하나의 포스트로 정리하는 만큼 얕게 배워보려고 한다. 1.1. 운영체제란운영체제(Operating System)는 컴퓨터 시스템의 핵심적인 소프트웨어로 컴퓨터의 하드웨어를 관리해주는 역할을 한다.컴퓨터를 키면 가장 먼저 실행되는 프로그램으로 사용자와 컴퓨터 하드웨어 사이의 인터페이스 역할을 한다. 1.2. 운영체제의 종류운영체제의 종류로는 시장에 따라 임베디드, 서버, 모바일, 데스크탑 으로 나뉘어져 있으며 Windows, Linux, Unix를 보편적으로 사용한다. Unix는 C언어 기반으로 Windows를 제외한 거의 모든 운영체제를 포괄하고 있다. 대표적으로 macOS, Linux가 있다. Windows는 편..