공부 공부 공부합시다

LLM 기초 (4) 토크나이저 심화 - BPE가 조각을 정하는 법, 한국어 토큰 문제

지난 글에서 트랜스포머의 큰 그림을 그렸다.이번엔 한발 물러나 모델이 애초에 문장을 어떻게 토큰으로 쪼개는지, BPE(byte pair encoding)부터 짚어본다.1. 토크나이저가 왜 필요한가 : 모델은 텍스트를 그대로 못 읽고, 숫자(토큰 id) 시퀀스로 바꿔야 함 : 가장 단순한 방법은 문자 단위나 단어 단위로 쪼개는 것이지만 둘 다 문제가 있음 : 문자 단위는 시퀀스가 너무 길어지고: 단어 단위는 vocab이 한없이 커지면서 처음 보는 단어(OOV)를 못 다룸 : BPE는 그 중간, "자주 붙어다니는 조각을 통째로 하나의 토큰으로 묶는" 절충안임 2. BPE가 조각을 정하는 법 : 출발은 글자(또는 바이트) 단위로 전부 쪼갠 상태 : 말뭉치에서 가장 자주 붙어 나오는 두 조각을 찾아 하나로 ..

LLM 기초 (3) 트랜스포머 구조 한 장 정리 - encoder/decoder, 왜 RNN을 대체했나

지난 두 편에서 다음 토큰 예측과 어텐션을 다뤘다.이번엔 그 어텐션 블록이 쌓여 만드는 전체 구조, 트랜스포머 차례다.1. 왜 RNN을 대체했나: RNN은 토큰을 한 개씩 순서대로 처리함: 그래서 병렬화가 안 되고, 문장이 길어지면 앞쪽 정보가 여러 단계를 거치며 옅어짐(장기 의존성 문제) : 반면 self-attention은 모든 토큰이 동시에 서로를 참고함. 거리가 멀어도 한 번에 직접 연결됨 : 그 결과 학습이 훨씬 빠르고, 긴 문장에서도 앞뒤 관계를 놓치지 않음 2. 전체 구조 - encoder와 decoder 트랜스포머는 크게 encoder 스택과 decoder 스택 두 덩어리로 나뉨: encoder - 입력 문장 전체를 한 번에 읽고, multi-head self-attention과 feed-..

지난 글 끝에 "문맥에 따라 단어 표현이 바뀐다"고 적었다. 그걸 만드는 장치가 Attention이다. 1. 왜 Attention(어텐션)이 필요한가: 임베딩만 놓고 보면 '말'은 늘 같은 벡터 ("말을 타다"의 말이나 "말을 하다"의 말이나 똑같음): 그런데 뜻은 옆 단어가 정함 ('타다'가 붙으면 동물, '하다'가 붙으면 언어): 그래서 각 토큰이 "같은 문장의 다른 토큰을 얼마나 볼지" 정하고, 그만큼 정보를 섞어 자기 표현을 갱신함 → 이게 attention 2. Q, K, V — 검색에 빗대기 attention이 하는 일은 도서관에서 자료 찾기와 닮았다. 1) query (q) : 지금 내가 찾는 것. "어떤 정보가 필요한가"를 담은 벡터2) key (k) : 각 토큰이 내건 꼬리표. "나는..

LLM 을 처음부터 정리해 보기로 했다. 첫 글은 언어 모델이 실제로 하는 일 한 가지. 1. LLM 이 학습하는 목표: 앞 단어들이 주어졌을 때 다음에 올 단어(토큰)를 맞히는 것, 이게 전부다 : 맞힌 걸 뒤에 붙이고 또 다음을 맞힘 → 이 반복으로 문장이 완성됨 (autoregressive) 학습도 같다. 원문의 다음 단어가 곧 정답이라 사람이 라벨을 달 필요가 없음 → 인터넷 규모로 학습 가능한 이유. 2. 토큰 (token)모델은 단어를 그대로 안 보고, 자주 붙어 다니는 문자 덩어리인 토큰 으로 쪼갠다. 한국어는 조사 또는 어미로 형태가 계속 바뀌고 학습 데이터에도 덜 등장해 토큰을 많이 먹는다. 토큰이 많으면 api 비용 ↑, 컨텍스트 창 소모 ↑, 속도 ↓. (실제 조각은 토크나이저마..

메타 문자 – 특별한 의미를 가진 문자.문자 설명[] 문자 집합 “[a-m]”\ 특정 문자열을 알림 (특정 문자를 제외할 때도 사용됨) “\d”. 어떠한 문자(새로운 줄 문자는 제외) “he..o”^ 문자열의 시작 “^hello”* 0개 이상 발생 “aix*”+ 1개 이상 발생 “aix+”{} 지정된 수만큼 발생 “al{2}”| 혹은 “falls|stays”() 그룹$ 문자열의 끝 “world$” 아래의 리스트에 있는 ‘\’ 와 문자 하나는 특별한 문자열로 특별한 의미를 가집니다:문자 설명\A 지정된 문자들이 문자열의 처음에 오는 것을 반환합니다.“\AThe”\b 단어의 처음이나 끝에 지정된 문자들이 오는 것을 반환합니다.r”\bain”r”a..

paperswithcode : https://paperswithcode.com/paper/sub-center-arcface-boosting-face-recognition Papers with Code - Sub-center ArcFace: Boosting Face Recognition by Large-scale Noisy Web FacesImplemented in 2 code libraries.paperswithcode.com 오늘은 이전 ArcFace 에서 잠깐 나왔던 내용인 sub-center ArcFace 에 대한 논문을 읽어 보았다ArcFace 에 대하여 잘 모른다면https://lululalams.tistory.com/10 ArcFace: Additive Angular Margin Loss fo..

paperswithcode : https://paperswithcode.com/paper/vitpose-simple-vision-transformer-baselines Papers with Code - ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation🏆 SOTA for Pose Estimation on COCO test-dev (AP metric)paperswithcode.com 오늘은 ViTPose 라는 pose estimation 논문에 대해 읽어 보았다이전에 코드를 사용한 적은 있는데, 논문을 제대로 읽어보지 못했기 때문에 이번 기회에 다시 한번 읽어 보았다  Abstract vision transformer 가 pose..

kakao enterprise ai reseach 에서 papers 를 보다가 발견한 논문https://kakaoenterprise.github.io/papers/aaai-debiasing Revisiting the Importance of Amplifying Bias for DebiasingAbstractkakaoenterprise.github.io 이전 얼굴 이미지 데이터셋을 이용했을때도 항상 배경이나, 헤어스타일, 악세사리 등 편향적 특성이 강하게 나타나면 학습에 악영향을 끼치는 경우가 많았다이런 경우를 위해 Debiasing 을 하는데 , 이 논문은 2022 에 발표된 논문으로 debiasing 성능을 개선하기 위한 새로운 접근법을 보여주고 있다 Abstractdebiasing 은 데이터셋의 bi..

Knowledge Distillation: 지식 증류, 미리 학습된 큰 Teacher 모델을 이용하여 Student 모델을 학습함: 작은 student 모델을 사용하여 모델 압축(경량화)에 사용되기도 함: unlabeled data 에 pseudo-labeling 을 적용하기도 함 1. Unlabeled data 만 있을때label 없이 input 을 넣은 후 나온 output 을 이용하여 KL divergence loss 를 구함 ( 두 확률 분포의 차이를 계산 )이때 loss 를 이용한 역전파는 student 모델에서만 일어남 2. labeled data 가 있을때1) labeled data 를 input 으로 넣고, teacher 와 student 의 softmax(T=t) 를 거친 soft lab..

transfer learning: 전이 학습, 보통 CNN 은 두고 fully connected 단을 변경 하여 학습 1. freezefully 변경 후 CNN 단은 freeze 하고 fully 단만 학습 하는 방법학습이 빠르고, 아주 적은 데이터셋으로도 가능 2. whole trainfully 변경 후 CNN 단은 낮은 학습률, fully 는 높은 학습률을 설정하고 전체를 학습하는 방법학습이 상대적으로 오래 걸리고 더 많은 데이터셋이 필요하지만 더 높은 성능을 냄