공부 공부 공부합시다

머신러닝 기초 (1) 지도학습과 비지도학습

머신러닝을 처음 정리할 때 가장 먼저 잡아야 할 큰 갈래가 지도학습과 비지도학습이다. 이 구분을 알면 어떤 문제에 어떤 방법을 쓸지 감이 잡힌다. 이번 글에서 그 뼈대를 정리한다. 1. 머신러닝이란 : 규칙을 사람이 일일이 짜는 대신, 데이터에서 패턴을 스스로 찾게 하는 방법임 : 찾은 패턴(모델)으로 새 데이터를 예측하거나 구조를 파악함 : 크게 지도학습, 비지도학습, 강화학습으로 나뉨 2. 지도학습 - 정답을 보고 배운다 : 입력(x)과 정답(y)이 짝지어진 데이터로 학습함 - 정답표(label)가 있음 : 모델은 x에서 y를 맞히는 규칙을 배우고, 새 x에 대해 y를 예측함 : 예를 들어 사진과 "고양이/개" 라벨로 학습해, 새 사진의 종류를 맞히는 식 : 정답 유형에 따라 나뉨 - 분류(범..

SQL 문제풀이 (1) JOIN - INNER, LEFT, 자기조인

데이터가 여러 표에 나뉘어 있으면 JOIN으로 이어 붙여야 함. 이번 글은 JOIN의 종류를 정리하고, 자주 나오는 문제 세 개를 직접 풀어 본다. 1. JOIN 개념 정리 : JOIN - 공통 열(키)을 기준으로 두 표의 행을 옆으로 이어 붙이는 것 : INNER JOIN - 양쪽에 다 있는 키만 남김 (교집합) : LEFT JOIN - 왼쪽 표는 전부 남기고, 오른쪽에 짝이 없으면 NULL로 채움 : RIGHT JOIN - 반대로 오른쪽 표를 전부 남김 : FULL OUTER JOIN - 양쪽을 모두 남김 (합집합) 2. 예제 테이블 두 표를 놓고 문제를 풀어 봄. : customers(고객) - id, name : orders(주문) - id, customer_id, amount 3. ..

GPT-3 (Language Models are Few-Shot Learners)

논문: Brown et al., "Language Models are Few-Shot Learners" (2020), NeurIPS 링크: https://arxiv.org/abs/2005.14165앞선 리뷰에서 트랜스포머와 BERT를 봤다. BERT가 인코더로 문맥을 이해하는 쪽이었다면, 오늘은 디코더로 다음 단어를 생성하는 쪽, "GPT-3"를 읽어 보았다. 파인튜닝 없이 예시 몇 개만 보여줘도 과제를 푸는 few-shot 학습을 보인 논문이다. 1. Abstract 한 줄 요약 : GPT-3는 트랜스포머 디코더를 매우 크게 키운(1750억 파라미터) 언어모델임 : 특정 과제로 파인튜닝하지 않고, 프롬프트에 예시 몇 개만 넣어도 과제를 수행함 : 번역, 질의응답, 상식 추론 등 다양한 과제에서, ..

데이터 분석 (8) pandas 전처리 패턴 정리 - groupby, merge, pivot

분석의 대부분은 사실 전처리에서 시간이 든다. 이번 글은 pandas에서 특히 자주 쓰는 세 가지, groupby, merge, pivot을 한 번에 정리한다. 데이터분석 기초 시리즈의 마지막 편이다. 1. groupby - 나눠서 집계하기 : 어떤 기준으로 행을 그룹으로 나눈 뒤, 그룹마다 집계값을 구하는 패턴임 : 동작은 세 단계로 나뉨 - 나누고(split), 각 그룹에 함수 적용(apply), 결과를 합침(combine) : 예를 들어 지역별 평균 매출은 df.groupby("지역")["매출"].mean() 형태로 구함 : 여러 집계를 한 번에 하려면 .agg(["sum", "mean"])처럼 묶어서 씀 2. merge - 두 표를 키로 붙이기 : 공통 열(키)을 기준으로 두 데이터프레임을..

한동안 언어모델의 성능은 "모델을 더 키우고 더 많이 학습시킨다"로 올렸다. 요즘은 결이 조금 다른 흐름이 뜨고 있다. 답하기 전에 모델이 더 오래 "생각"하게 만드는 추론 모델(reasoning model)이다. 오늘은 이 흐름을 쉽게 정리한다. 1. 무엇이 달라졌나 : 기존 모델은 질문을 받으면 곧바로 답을 냄 - 빠르지만 어려운 문제에선 성급하게 틀리기 쉬움 : 추론 모델은 답을 내기 전에, 문제를 단계로 쪼개 생각하는 과정을 길게 거침 : 사람이 어려운 문제를 풀 때 곧장 답하지 않고 이것저것 따져 보는 것과 비슷함 2. 핵심은 "생각의 사슬" : 모델이 중간 추론 과정을 스스로 풀어 쓰는 방식을 생각의 사슬(chain of thought)이라 함 : 예전엔 프롬프트로 "단계별로 생각해"..

같은 데이터라도 어떤 차트에 담느냐에 따라 전달력이 크게 달라진다. 이번 글은 상황별로 차트를 고르는 기준과, 흔히 하는 왜곡을 피하는 원칙을 정리한다. 1. 차트는 "목적"에서 고른다 : 예쁜 차트를 먼저 고르는 게 아니라, 무엇을 보여줄지부터 정함 1) 비교 - 막대그래프 (항목 간 크기 차이) 2) 시간 추세 - 선그래프 (시간에 따른 변화) 3) 분포 - 히스토그램, 박스플롯 (값이 퍼진 모양) 4) 관계 - 산점도 (두 변수의 상관) 5) 구성 비율 - 100% 누적막대나 파이 (전체 중 비중) 2. 축은 정직하게 - 막대는 0에서 시작 : 막대그래프는 길이로 크기를 비교하는 차트라, y축이 0에서 시작해야 함 : 축을 중간부터 자르면(truncated axis), 작은 차이가 엄청 큰..

논문: Devlin et al., "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding" (2018) 링크: https://arxiv.org/abs/1810.04805 지난 논문 리뷰에서 트랜스포머를 봤다. 오늘은 그 트랜스포머의 인코더만 가져다 언어 이해에 특화한 "BERT"를 읽어 보았다. 사전학습과 파인튜닝이라는 지금의 흐름을 널리 퍼뜨린 모델이다. 1. Abstract 한 줄 요약 : 기존 언어모델은 문장을 왼쪽에서 오른쪽 한 방향으로만 읽어, 뒤 문맥을 못 봤음 : BERT는 트랜스포머 인코더로 양쪽 문맥을 동시에 보는 양방향 사전학습을 제안함 : 큰 말뭉치로 미리 학습한 뒤, 과제마다 살짝만 더 ..

앞에서 두 변수의 관계를 상관으로 재 봤다면, 이번엔 그 관계를 식으로 세워 예측까지 해 본다. 가장 기본이 되는 회귀분석을, 선형에서 다항으로 넓혀 가며 정리한다. 1. 회귀분석이 하는 일 : 입력 변수(x)로 결과 변수(y)를 설명하거나 예측하는 식을 찾는 일임 : 예를 들어 공부 시간으로 시험 점수를, 면적으로 집값을 추정하는 식 : 상관이 "얼마나 같이 움직이나"를 봤다면, 회귀는 "x가 이만큼일 때 y는 얼마"라고 값을 내놓음 2. 선형회귀 - 직선 하나로 설명 : 데이터를 가장 잘 지나는 직선 y = ax + b를 찾는 방법임 : a는 기울기(x가 1 늘 때 y의 변화량), b는 절편(x가 0일 때 y) : 점들과 직선 사이의 세로 거리(잔차)가 전체적으로 가장 작아지는 직선을 고름 ..

요즘 AI 도구를 보면 "MCP 지원"이라는 말이 부쩍 자주 보인다. AI 에이전트가 뜨면서 같이 표준으로 자리 잡은 개념인데, 알고 보면 구조가 단순하다. 오늘은 MCP가 무엇이고 왜 빠르게 표준이 됐는지 정리한다. 1. MCP란 무엇인가 MCP(Model Context Protocol)는 2024년 11월 Anthropic이 공개한 오픈 표준임. 한 줄로 요약하면 이렇다.: AI 모델이 외부 도구, 데이터에 연결되는 방식을 하나로 통일한 규격임: 흔히 "AI를 위한 usb-c"에 비유함 - 어떤 기기든 하나의 규격으로 꽂듯이, 어떤 도구든 같은 방식으로 연결: 모델과 도구 사이에 표준 인터페이스를 두어, 서로를 몰라도 정해진 규칙으로 대화하게 함 2. 왜 필요했나 MCP 이전에는 모델마다, 도구마..

"버튼 색을 바꿨더니 클릭이 늘었다"는 말을 데이터로 증명하려면, 그 차이가 진짜인지 우연인지를 가려야 한다. 이때 쓰는 게 A/B 테스트와 가설검정이다. 이번 글은 p-value와 유의수준이 정확히 무슨 뜻인지 정리한다. 1. A/B 테스트란 : 사용자를 무작위로 두 집단으로 나눔 - A안(기존)과 B안(변경): 두 집단에 각각 다른 안을 보여주고, 목표 지표(클릭률, 전환율 등)를 비교함: 무작위로 나눴기 때문에, 지표 차이를 "안의 차이" 때문으로 볼 수 있음 (교란변수가 양쪽에 섞임): 즉 A/B 테스트는 인과를 확인하는 무작위 대조 실험의 한 형태임 2. 가설검정의 구조 측정된 차이가 우연인지 판단하려고, 통계에서는 두 개의 가설을 세움.: 귀무가설(H0) - "두 안 사이에 차이가 없다" (..