공부 공부 공부합시다

공부와 기록
  • 홈
  • 태그
  • 방명록

semi supervised 1

Knowledge Distillation

Knowledge Distillation: 지식 증류, 미리 학습된 큰 Teacher 모델을 이용하여 Student 모델을 학습함: 작은 student 모델을 사용하여 모델 압축(경량화)에 사용되기도 함: unlabeled data 에 pseudo-labeling 을 적용하기도 함 1. Unlabeled data 만 있을때label 없이 input 을 넣은 후 나온 output 을 이용하여 KL divergence loss 를 구함 ( 두 확률 분포의 차이를 계산 )이때 loss 를 이용한 역전파는 student 모델에서만 일어남 2. labeled data 가 있을때1) labeled data 를 input 으로 넣고, teacher 와 student 의 softmax(T=t) 를 거친 soft lab..

ML & DL/Basic 2024.05.23
1
더보기
프로필사진

룰루랄라 공부합시다

  • 분류 전체보기 (33)
    • ML & DL (2)
      • Basic (2)
      • Mathematics (0)
      • Torch (0)
    • Paper (7)
      • Vision (6)
      • Generation (1)
    • Python (8)
      • 프로그래머스 (8)
      • 알고리즘 (0)
      • Basic (0)
    • 문제 해결 (5)
    • 그 외 (11)
      • Linux (7)
      • git (3)
      • Docker (1)

Tag

arcface, deeplearning, PYTHON, linux, Face Recognition, ghostfacenet, Face, Git, 프로그래머스, facerecognition, Python3, paper, semi supervised, error, adaface, vitpose, reweighting, self training, Docker, debiasing,

최근글과 인기글

  • 최근글
  • 인기글

최근댓글

공지사항

Archives

방문자수Total

  • Today :
  • Yesterday :
my github

Copyright © Kakao Corp. All rights reserved.

티스토리툴바