활동 목표: LG Aimers 강의 2차 정리 활동 결과: 1. 개요이번 시간에는 LLM의 Decoding, RAG에 대한 소개 형식으로 글을 쓰도록 하겠다. 2. DecodingDecoding에 대해 설명하기 위해 다시 Transformer를 떠올리기 바란다.Transformer 아키텍쳐 마지막 부분에서, Unembedding 과정을 거쳐서 softmax로 확률분포를 도출하게 된다.Decoding은 그러한 확률분포를 통해 다음 토큰에 대한 결과를 어떻게 도출할 것인가를 결정하는 알고리즘이다. 2.1. Greedy Decoding순서대로 다음 단어를 예측하기 때문에, 트리 형식을 떠올릴 수 있다.이와 같이 당장 다음 시점에, 높은 확률을 따라가는 것이 Greedy Decoding이다.하지만 이와 같은 방..