공부 공부 공부합시다

AI trend _ 추론 모델과 test-time compute

한동안 언어모델의 성능은 "모델을 더 키우고 더 많이 학습시킨다"로 올렸다. 요즘은 결이 조금 다른 흐름이 뜨고 있다. 답하기 전에 모델이 더 오래 "생각"하게 만드는 추론 모델(reasoning model)이다. 오늘은 이 흐름을 쉽게 정리한다. 1. 무엇이 달라졌나 : 기존 모델은 질문을 받으면 곧바로 답을 냄 - 빠르지만 어려운 문제에선 성급하게 틀리기 쉬움 : 추론 모델은 답을 내기 전에, 문제를 단계로 쪼개 생각하는 과정을 길게 거침 : 사람이 어려운 문제를 풀 때 곧장 답하지 않고 이것저것 따져 보는 것과 비슷함 2. 핵심은 "생각의 사슬" : 모델이 중간 추론 과정을 스스로 풀어 쓰는 방식을 생각의 사슬(chain of thought)이라 함 : 예전엔 프롬프트로 "단계별로 생각해"..

데이터 분석 (7) 데이터 시각화 원칙 - 어떤 차트를 고를 것인가

같은 데이터라도 어떤 차트에 담느냐에 따라 전달력이 크게 달라진다. 이번 글은 상황별로 차트를 고르는 기준과, 흔히 하는 왜곡을 피하는 원칙을 정리한다. 1. 차트는 "목적"에서 고른다 : 예쁜 차트를 먼저 고르는 게 아니라, 무엇을 보여줄지부터 정함 1) 비교 - 막대그래프 (항목 간 크기 차이) 2) 시간 추세 - 선그래프 (시간에 따른 변화) 3) 분포 - 히스토그램, 박스플롯 (값이 퍼진 모양) 4) 관계 - 산점도 (두 변수의 상관) 5) 구성 비율 - 100% 누적막대나 파이 (전체 중 비중) 2. 축은 정직하게 - 막대는 0에서 시작 : 막대그래프는 길이로 크기를 비교하는 차트라, y축이 0에서 시작해야 함 : 축을 중간부터 자르면(truncated axis), 작은 차이가 엄청 큰..

BERT (양방향으로 문맥을 읽는 사전학습)

논문: Devlin et al., "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding" (2018) 링크: https://arxiv.org/abs/1810.04805 지난 논문 리뷰에서 트랜스포머를 봤다. 오늘은 그 트랜스포머의 인코더만 가져다 언어 이해에 특화한 "BERT"를 읽어 보았다. 사전학습과 파인튜닝이라는 지금의 흐름을 널리 퍼뜨린 모델이다. 1. Abstract 한 줄 요약 : 기존 언어모델은 문장을 왼쪽에서 오른쪽 한 방향으로만 읽어, 뒤 문맥을 못 봤음 : BERT는 트랜스포머 인코더로 양쪽 문맥을 동시에 보는 양방향 사전학습을 제안함 : 큰 말뭉치로 미리 학습한 뒤, 과제마다 살짝만 더 ..

데이터 분석 (6) 회귀분석 기초 - 선형회귀에서 다항회귀까지

앞에서 두 변수의 관계를 상관으로 재 봤다면, 이번엔 그 관계를 식으로 세워 예측까지 해 본다. 가장 기본이 되는 회귀분석을, 선형에서 다항으로 넓혀 가며 정리한다. 1. 회귀분석이 하는 일 : 입력 변수(x)로 결과 변수(y)를 설명하거나 예측하는 식을 찾는 일임 : 예를 들어 공부 시간으로 시험 점수를, 면적으로 집값을 추정하는 식 : 상관이 "얼마나 같이 움직이나"를 봤다면, 회귀는 "x가 이만큼일 때 y는 얼마"라고 값을 내놓음 2. 선형회귀 - 직선 하나로 설명 : 데이터를 가장 잘 지나는 직선 y = ax + b를 찾는 방법임 : a는 기울기(x가 1 늘 때 y의 변화량), b는 절편(x가 0일 때 y) : 점들과 직선 사이의 세로 거리(잔차)가 전체적으로 가장 작아지는 직선을 고름 ..

AI trend _ MCP(Model Context Protocol) 정리

요즘 AI 도구를 보면 "MCP 지원"이라는 말이 부쩍 자주 보인다. AI 에이전트가 뜨면서 같이 표준으로 자리 잡은 개념인데, 알고 보면 구조가 단순하다. 오늘은 MCP가 무엇이고 왜 빠르게 표준이 됐는지 정리한다. 1. MCP란 무엇인가 MCP(Model Context Protocol)는 2024년 11월 Anthropic이 공개한 오픈 표준임. 한 줄로 요약하면 이렇다.: AI 모델이 외부 도구, 데이터에 연결되는 방식을 하나로 통일한 규격임: 흔히 "AI를 위한 usb-c"에 비유함 - 어떤 기기든 하나의 규격으로 꽂듯이, 어떤 도구든 같은 방식으로 연결: 모델과 도구 사이에 표준 인터페이스를 두어, 서로를 몰라도 정해진 규칙으로 대화하게 함 2. 왜 필요했나 MCP 이전에는 모델마다, 도구마..

데이터 분석 (5) A/B 테스트와 가설검정 기초 - p-value, 유의수준

"버튼 색을 바꿨더니 클릭이 늘었다"는 말을 데이터로 증명하려면, 그 차이가 진짜인지 우연인지를 가려야 한다. 이때 쓰는 게 A/B 테스트와 가설검정이다. 이번 글은 p-value와 유의수준이 정확히 무슨 뜻인지 정리한다. 1. A/B 테스트란 : 사용자를 무작위로 두 집단으로 나눔 - A안(기존)과 B안(변경): 두 집단에 각각 다른 안을 보여주고, 목표 지표(클릭률, 전환율 등)를 비교함: 무작위로 나눴기 때문에, 지표 차이를 "안의 차이" 때문으로 볼 수 있음 (교란변수가 양쪽에 섞임): 즉 A/B 테스트는 인과를 확인하는 무작위 대조 실험의 한 형태임 2. 가설검정의 구조 측정된 차이가 우연인지 판단하려고, 통계에서는 두 개의 가설을 세움.: 귀무가설(H0) - "두 안 사이에 차이가 없다" (..

Vaswani et al., "Attention Is All You Need" (2017), NeurIPS링크: https://arxiv.org/abs/1706.03762LLM 기초 시리즈를 마무리했으니, 이제 그 기초가 처음 등장한 원 논문으로 돌아가 본다. 오늘은 트랜스포머(transformer)를 세상에 내놓은 "Attention Is All You Need"를 읽어 보았다. 지금 나오는 거의 모든 언어 모델의 뿌리가 되는 글이다. 1. Abstract 한 줄 요약 : 당시 번역 모델의 주류는 rnn이나 cnn에 attention을 얹은 구조였음: 이 논문은 rnn, cnn을 아예 걷어내고 "attention만으로" 만든 새 구조 transformer를 제안함: 결과적으로 번역 성능은 최고 수준으..

데이터를 보다 보면 "A가 오르면 B도 오른다"는 그림이 자주 나온다. 그런데 여기서 "그러니까 A가 B의 원인"이라고 넘어가면 종종 크게 틀린다. 이번 글은 상관과 인과가 왜 다른지, 그리고 데이터를 뒤집어 버리는 심슨의 역설을 정리한다. 1. 상관관계와 인과관계는 다른 말임 : 상관관계 - 두 값이 같이 움직이는 정도임 (한쪽이 크면 다른 쪽도 크거나 작은 경향): 인과관계 - 한쪽이 실제로 다른 쪽을 "일으키는" 관계임: 상관은 숫자로 바로 재지지만(예: 상관계수), 인과는 그 숫자만으로는 증명되지 않음: 즉 "같이 움직인다"와 "원인이다"는 별개의 주장임 2. 상관은 있는데 인과가 아닌 경우 같이 움직이는 두 값이 있어도, 원인, 결과 관계가 아닐 수 있음. 크게 세 갈래로 나뉨.1) 우연 -..

집계를 하다 보면 "그룹별 합계는 구했는데, 원래 행은 그대로 두고 싶다"는 상황이 자주 생긴다. GROUP BY로는 잘 안 되는 이 일을 깔끔하게 해 주는 게 윈도우 함수다. 이번 글은 윈도우 함수의 구조와 자주 쓰는 세 갈래를 정리한다. 1. GROUP BY와 무엇이 다른가 : GROUP BY는 여러 행을 하나로 뭉쳐서, 그룹마다 한 줄만 남김 : 윈도우 함수는 행을 그대로 두면서, 각 행 옆에 집계값을 새 컬럼으로 붙임 : 그래서 "전체 평균 대비 이 행의 값"처럼, 개별 행과 집계를 함께 보고 싶을 때 씀 2. 기본 구조: OVER : 윈도우 함수는 집계 함수 뒤에 OVER 절을 붙이는 형태임 - 예: AVG(price) OVER (...) 1) PARTITION BY - 어떤 기준으로 ..

지난 글에서 RAG로 검색한 문서를 모델에게 참고 자료로 건네는 방식을 정리했다. 그렇게 무언가를 프롬프트에 담아 넣기 시작하면 자연스럽게 질문이 하나 생긴다. 무엇을, 얼마나, 어떤 순서로 넣을 것인가. 이번엔 프롬프트 엔지니어링과 컨텍스트 엔지니어링을 정리한다. 1. 프롬프트 엔지니어링이란 : 모델에게 주는 지시문(프롬프트)을 다듬어 원하는 답을 끌어내는 방법임 : 역할을 정해 주거나("너는 요약 전문가야"), 예시를 몇 개 보여 주거나(few-shot), 단계를 밟아 생각하게 시키는(chain of thought) 식으로 표현을 바꿈 : 모델 자체는 그대로 두고, 입력 문장을 바꿔 결과를 개선하는 접근임 2. 컨텍스트 엔지니어링이란 : 프롬프트 한 줄을 넘어서, 모델이 한 번에 보는 입력..