공부 공부 공부합시다

Knowledge Distillation: 지식 증류, 미리 학습된 큰 Teacher 모델을 이용하여 Student 모델을 학습함: 작은 student 모델을 사용하여 모델 압축(경량화)에 사용되기도 함: unlabeled data 에 pseudo-labeling 을 적용하기도 함 1. Unlabeled data 만 있을때label 없이 input 을 넣은 후 나온 output 을 이용하여 KL divergence loss 를 구함 ( 두 확률 분포의 차이를 계산 )이때 loss 를 이용한 역전파는 student 모델에서만 일어남 2. labeled data 가 있을때1) labeled data 를 input 으로 넣고, teacher 와 student 의 softmax(T=t) 를 거친 soft lab..

transfer learning: 전이 학습, 보통 CNN 은 두고 fully connected 단을 변경 하여 학습 1. freezefully 변경 후 CNN 단은 freeze 하고 fully 단만 학습 하는 방법학습이 빠르고, 아주 적은 데이터셋으로도 가능 2. whole trainfully 변경 후 CNN 단은 낮은 학습률, fully 는 높은 학습률을 설정하고 전체를 학습하는 방법학습이 상대적으로 오래 걸리고 더 많은 데이터셋이 필요하지만 더 높은 성능을 냄