1. 텍스트 분석 입문 및 환경 설정

텍스트 마이닝이란?

개념 및 필요성

텍스트 마이닝(Text Mining)

• 글(텍스트) 속에서 숨어 있는 유용한 정보를 캐내는 기술
• 문자, SNS 댓글, 뉴스 기사, 리뷰 등

데이터의 80%는 비정형

• 세상의 데이터 중 대부분은 형식이 없는 텍스트, 음성, 이미지
• 텍스트 마이닝을 배운다는 것 = 전체 데이터의 80%를 다룰 수 있는 능력을 갖추는 것

구분 정형 데이터 비정형 데이터

정의	표(행/열)로 정리된 데이터	형식이 없는 자유로운 데이터
예시	엑셀 매출 표, 성적 DB	문자, 뉴스, SNS, 음성, 이미지
분석 난이도	상대적으로 쉬움	어려움 (우리가 배울 것!)
전체 데이터 비율	약 20%	약 80%

자동화의 힘

• 사람이 일일이 읽을 수 없는 수십만 개의 리뷰를 컴퓨터가 자동으로 분석(긍정/부정 분류 등)

텍스트 데이터가 어려운 이유 4가지

• 다양한 표현: 같은 의미라도 표현 방식(존맛, 맛있음, 👍)이 제각각임.
• 중의성: 문맥에 따라 단어의 뜻(배: 먹는 배, 타는 배)이 달라짐.
• 불용어: '정말', '너무나도' 등 분석에 도움이 안 되는 단어가 많음.
• 수치화: 컴퓨터가 이해할 수 있도록 텍스트를 숫자로 변환해야 함.

텍스트 마이닝은 어디에 쓰일까?

• 쇼핑몰 — 리뷰 감성 분석
• 뉴스/미디어 — 키워드 트렌드 분석
• 고객센터 — 챗봇 & 자동 분류
• 금융 — 신용 평가 & 리스크 탐지
• 의료 — 진료 기록 분석

2026 취업 시장의 핵심: AI 챗봇 역량

단순히 AI를 '쓰는' 사람을 넘어, 기업은 AI를 서비스에 '이식하고 기획'할 수 있는 인재

어떤 직군에서 요구할까요?

직군 AI 챗봇 관련 요구 능력

기획자 / PM	AI 서비스 기획, 챗봇 시나리오 설계, 프롬프트 설계
마케터	AI 카피라이팅, 고객 상담 챗봇 기획 및 운영
개발자	LLM API 연동, RAG 시스템 구현, Streamlit 배포
데이터 분석가	텍스트 데이터 분석, 챗봇 성능 평가, A/B 테스트
고객 서비스	AI 챗봇 운영, 프롬프트 최적화, FAQ 데이터 관리
HR / 교육	사내 AI 교육 챗봇 기획, 온보딩 자동화

실습 환경 및 도구 (Google Colab & Python)

Google Colab 활용

• 장점: 별도의 설치 없이 브라우저에서 즉시 실행 가능한 무료 클라우드 환경
• 핵심 단축키:
  • Shift + Enter: 실행 후 다음 셀 이동
  • Ctrl + Enter: 현재 셀만 실행
  • Ctrl + M + B: 아래에 새 셀 추가

Python 기초 핵심

텍스트 분석에 필수적인 4가지 요소

1. 리스트(list): 여러 텍스트 데이터를 순서대로 저장 (가장 많이 사용)
2. 딕셔너리(dict): 이름표(Key)를 붙여 데이터 관리
3. 반복문(for): 수만 건의 리뷰를 자동 처리
4. KoNLPy(라이브러리): 한국어 문장을 단어 단위로 쪼개는 형태소 분석기

설치 방법(Colab에서)

# 느낌표(!)는 Colab에서 터미널 명령어를 실행하는 방법입니다
!pip install konlpy

설치 완료 후 확인

from konlpy.tag import Okt

okt = Okt()
테스트_문장 = "나는 텍스트 분석을 배우고 있습니다"

# 형태소 분석 맛보기
print(okt.morphs(테스트_문장))

# 결과 (예시):
# ['나', '는', '텍스트', '분석', '을', '배우고', '있습니다']

Java 관련 오류가 날 경우

KoNLP는 내부적으로 Java를 사용

!apt-get install default-jdk -y
!pip install konlpy

---