427paul 님의 블로그

8. GPT 모델 — 사전학습, 파인튜닝, 프롬프트

Encoder vs Decoder — BERT와 GPT의 갈림길핵심 차이: Attention의 방향BERT (Encoder) — 양방향: 모든 단어가 모든 단어를 참조"나는 영화를 [MASK] 봤다" ↕ ↕ ↕ ↕ ← 전후 모든 방향으로 참조→ "봤다"를 보고 [MASK] = "재미있게"를 맞출 수 있음→ 미래 단어("봤다")도 참조 가능!BERT는 문장의 일부를 [MASK]로 가리고 주변 문맥을 보고 맞추는 방식으로 학습앞뒤 단어를 모두 볼 수 있으므로 문장을 이해하는 데 강함하지만 텍스트를 순차적으로 생성하는 데는 적합하지 않음.GPT (Decoder) — 단방향: 왼쪽(과거)만 참조"나는 영화를 재미있게" → → → ??? ..

[BDA x 영진닷컴] ADsP 스터디 Part 02 데이터 분석 기획

Part 02 데이터 분석 기획Chapter 01 데이터 분석 기획의 이해Section 01 분석 기획01 분석 기획의 정의와 특징정의주제 및 문제의 정의와 결과 도출을 위한 방안을 사전에 계획하는 작업분석 주제 유형 분류최적화(Optimization)분석 대상과 방법이 결정된 경우 기존의 방법론 개선솔루션(Solution)문제 상황과 대상이 고정되어 있으나 그 방법과 절차를 모르는 경우 적합한 분석 방법론을 탐색통찰(Insight)분석 대상이 불분명한 경우, 기존 분석 방법을 다양한 상황과 데이터에 적용하여 문제를 도출하는 시도발견(Discovery)분석 대상, 분석 방법 불분명분석 대상을 새롭게 탐색하고 문제를 도출한 다음, 적절한 분석 방법 선택 분석 대상 Known분석 대상 Unknown분석 방법..

Part 01 데이터 이해Chapter 01 데이터의 이해Section 01 데이터와 정보01 데이터의 정의데이터(Data)존재적 특성 : 객관적 사실당위적 특성 : 근거데이터의 유형형태에 따른 구분정성 데이터(Qualitative Data) : 언어, 문자정량 데이터(Quantitative Data) : 수치, 도형, 기호구조에 따른 구분정형 데이터(Structured Data) : 표 형태 등 고정된 틀에 맞게 입력된 데이터비정형 데이터(Unstructured Data) : 이미지, 텍스트 등 고정된 틀에 적용하기 어려운 데이터지식 경영과 데이터암묵지(Tacit Knowledge)드러나지 않은 지식형식지(Explicit Knowledge)형상화되어 전달과 공유과 용이한 지식지식의 순환공동화(Socia..

1. LSTM의 한계와 트랜스포머(Transformer)의 등장LSTM의 한계:단어를 한 개씩 순서대로 읽는 순차 처리 방식이라 GPU의 병렬 연산을 쓰지 못해 속도가 느림문장이 길어질수록 앞쪽 정보가 희석되는 장거리 의존성 문제가 여전히 존재트랜스포머의 혁신:모든 단어를 동시에 연결하는 병렬 처리 도입긴 문장이라도 모든 단어가 서로를 1스텝(직접 참조)만에 찾아가므로 정보 손실이 없고 학습 속도가 압도적으로 빠름비교LSTMTransformer처리 방식순차적 (한 단어씩)병렬 (모든 단어 동시)장거리 의존성어려움 (정보가 여러 셀을 거침)쉬움 (모든 단어가 직접 연결)학습 속도느림빠름 (GPU 병렬 처리)"배우"→"재미있었다" 거리10 스텝1 스텝 (직접 참조)핵심 메커니즘게이트 (망각/입력/출력)Sel..

1. 텍스트 분석에 딥러닝이 필요한 이유전통 ML(TF-IDF)의 한계: 단어의 빈도만 보기 때문에 단어 순서를 무시하며("지루하지 않고 재미있다" vs "재미있지 않고 지루하다"), 문맥을 이해하지 못해 다의어("먹는 사과" vs "용서를 구하는 사과")를 구분하지 못함딥러닝의 혁신: 단어를 고차원 실수의 밀집 벡터(임베딩)로 표현하고, 단어의 순서와 주변 문맥을 스스로 파악하여 특성을 자동 학습구분전통 ML (TF-IDF + 분류기)딥러닝 (RNN/Transformer)단어 표현빈도 기반 (희소 벡터)임베딩 (밀집 벡터)단어 순서❌ 무시✅ 반영문맥 이해❌ 불가✅ 가능특성 추출사람이 직접 설계모델이 자동 학습데이터 양적어도 OK많을수록 유리학습 시간빠름느림 (GPU 필요)2. 인공신경망(Neural N..

1. Word2Vec의 필요성 (TF-IDF의 한계)from sklearn.feature_extraction.text import TfidfVectorizerfrom sklearn.metrics.pairwise import cosine_similarity리뷰1 = "배우의 연기가 정말 훌륭했어요"리뷰2 = "주인공의 연기력이 정말 뛰어났어요" # 사실상 같은 말리뷰3 = "스토리가 지루하고 각본이 허술했어요" # 완전히 다른 내용vec = TfidfVectorizer(analyzer='char_wb', ngram_range=(2,4))X = vec.fit_transform([리뷰1, 리뷰2, 리뷰3])유사도 = cosine_similarity(X)print(f"리뷰1 ↔ 리뷰2 (배우연기 vs 주..

1. 이벤트 기반 분석 및 택소노미(Taxonomy) 케이스 스터디🔹 1) 네이밍 규칙 및 화면/행동 분리 철칙웹/앱에서 유저의 모든 행동을 데이터로 기록하기 위해 가이드라인(이름표 표)을 짜는 과정입니다.주문서 페이지 화면핵심 구조 3가지화면 (screen_name): 물리적/논리적으로 동일한 화면 이름 유지 (예: order_sheet)행동 (event_name): 유저의 구체적인 행동 단위 구분 (예: click_coupon_button, click_payment_button)속성 (Property): 행동의 상세 정보인 이벤트 속성(단품 가격, 쿠폰 코드)과 유저의 고유 특성인 사용자 속성(디바이스 타입, 멤버십 등급)으로 나뉨 ➡️ 주문서 페이지 조회✅ 이벤트명: order_sheet필드명예시..

1. 사용자 행동 로그 데이터의 이해정의: 사용자가 웹이나 앱 서비스를 이용하면서 발자국처럼 남기는 기록(클릭, 스크롤, 화면 노출 등)분석 목적:UX 개선: 사용자가 이탈하는 지점을 파악제품 전략: 사용자 여정(Journey)과 퍼널(Funnel)을 분석하여 제품의 방향성을 설정마케팅 최적화: 어떤 행동이 실제 구매나 구독으로 이어지는지 분석하여 비용 대비 효율을 극대화2. 핵심 데이터 구조 및 용어 정리사용자(User) vs 이벤트(Event) vs 속성(Property)사용자(User): 서비스를 실제로 이용하는 고객이벤트(Event): 고객이 행하는 개별 행동(상품 클릭, 구매 등)속성(Property): 이벤트를 설명하는 추가 정보.이벤트 속성(Event Property): '상품명', '가격'..

1. 텍스트 분류 전체 파이프라인 (STEP 1~6)리뷰 텍스트 ↓ ① 전처리() 특수문자 제거 ↓ ② train_test_split() 훈련 75% / 테스트 25% ↓ ③ TfidfVectorizer char_wb + ngram(2,4) → 수천 개 특성 .fit_transform(훈련) 훈련만 fit! .transform(테스트) 테스트는 변환만! ↓ ④ 모델.fit() 나이브 베이즈 or 로지스틱 회귀 모델.predict() ↓ ⑤ classification_report() 정확도 + Precision + Recall + F1STEP 1. 데이터 준비 및 레이블링데이터: 긍..

1. Retention (유지) 단계사용자가 일회성 방문에 그치지 않고 지속적으로 서비스를 이용하는지 측정하는 가장 중요한 단계입니다.기간에 대한 정의가 중요합니다.핵심 지표:리텐션(%):(특정 기간 말 재방문 유저 수 / 시작 시점 총 유저 수) × 100후행 지표이탈률(Churn Rate, %):(기간 내 이탈 유저 수 / 시작 시점 총 유저 수) × 100고착도(Stickiness):DAU / MAU서비스에 대한 유저의 충성도와 의존도를 나타냄측정 종류:N-Day(클래식) 리텐션: 최초 사용일로부터 정확히 N일 후에 재방문한 유저 비율코호트 리텐션: 특정 시기에 유입된 동질 집단별로 시간 흐름에 따른 유지율 변화 분석2. Referral (추천) 단계유저가 지인에게 추천할 만큼 제품에 만족하는지 확..