목록2025/04/25 (3)

JINWOOJUNG

[ Transformer to LLaMA ] Transformer..02

본 포스팅은 서울대학교 강필성 교수님의 Transformer to LLaMA 강의자료 및 강의를 기반으로공부한 내용을 정리하는 포스팅입니다.https://www.youtube.com/watch?v=Yk1tV_cXMMU&t=1021s08-2: Transformer Transformer는 Attention Mechanism을 바탕으로 NLP, CV 등 다양한 분야에 새로운 발전을 이끌어 낸 딥러닝 모델입니다. 본 포스팅에 앞서, Attnetion Mechanism을 공부하지 않은 경우 아래 포스팅에서 먼저 공부 하시는 것을 추천합니다.https://jinwoo-jung.tistory.com/148 [EECS 498] Lecture 17: Attention본 포스팅은 Michigan Univ.의 EECS 4..
NLP, LLM, Multi-modal 2025. 4. 25. 16:59
[ NLP ] BLEU Score: 기계번역 평가지표

NLP에서 기계 번역의 성능이 얼마나 뛰어난가를 측정하기 위해 사용되는 평가지표 중 하나가 BLEU(Bilingual Evaluation Understudy)이다. 오늘은 BLEU를 계산하는 방법에 대해 알아보자. BLEUBLEU는 기계 번역 결과와 사람이 직접 번역한 결과가 얼마나 유사한지 비교하여 번역 성능을 측정하는 방법이다. BLEU 점수는 아래 3가지 주요 요소를 기반으로 계산된다.n-gram Precision : 예측 문장에서 참조 문장과 겹치는 n-gram의 비율(1~4 gram)Clipping : 같은 n-gram이 중복으로 등장할 경우, 참조 문장에서 등장한 최대 횟수까지만 Precision 계산에 반영Brevity Penalty(BP) : 예측 문장이 너무 짧아 Precision만으로 ..
NLP, LLM, Multi-modal 2025. 4. 25. 15:12
[ Transformer to LLaMA ] Transformer..01

본 포스팅은 서울대학교 강필성 교수님의 Transformer to LLaMA 강의자료 및 강의를 기반으로 공부한 내용을 정리하는 포스팅입니다. https://www.youtube.com/watch?v=Yk1tV_cXMMU&t=1021s08-2: Transformer Transformer는 Attention Mechanism을 바탕으로 NLP, CV 등 다양한 분야에 새로운 발전을 이끌어 낸 딥러닝 모델입니다. 본 포스팅에 앞서, Attnetion Mechanism을 공부하지 않은 경우 아래 포스팅에서 먼저 공부 하시는 것을 추천합니다.https://jinwoo-jung.tistory.com/148 [EECS 498] Lecture 17: Attention본 포스팅은 Michigan Univ.의 EECS..
NLP, LLM, Multi-modal 2025. 4. 25. 02:02
이전 Prev 1 Next 다음