[BDA x 영진닷컴] ADsP 스터디 Part 02 데이터 분석 기획

Part 02 데이터 분석 기획

Chapter 01 데이터 분석 기획의 이해

Section 01 분석 기획

01 분석 기획의 정의와 특징

정의

• 주제 및 문제의 정의와 결과 도출을 위한 방안을 사전에 계획하는 작업

분석 주제 유형 분류

1. 최적화(Optimization)
   • 분석 대상과 방법이 결정된 경우 기존의 방법론 개선
2. 솔루션(Solution)
   • 문제 상황과 대상이 고정되어 있으나 그 방법과 절차를 모르는 경우 적합한 분석 방법론을 탐색
3. 통찰(Insight)
   • 분석 대상이 불분명한 경우, 기존 분석 방법을 다양한 상황과 데이터에 적용하여 문제를 도출하는 시도
4. 발견(Discovery)
   • 분석 대상, 분석 방법 불분명
   • 분석 대상을 새롭게 탐색하고 문제를 도출한 다음, 적절한 분석 방법 선택

	분석 대상 Known	분석 대상 Unknown
분석 방법 Known	최적화	통찰
분석 방법 Unknown	솔루션	발견

목표 시점에 따른 분류

단기적 과제 중심 접근 방식

• 소규모 과제 단위의 문제 해결에 집중하여 짧은 시간과 지원으로 초기 성과를 빠르게 얻음
• 장기적인 목표 달성을 위한 기반 마련
• 속도(speed)와 실험 및 가능성 탐색(est) 중심 목표 설정
• 단기에 가시적인 성과 달성(quick-win)이 가능한 과제 유형 선택
• 문제 해결(problem solving) 중심 접근

중/장기적 마스터 플랜 방식

• 복잡한 단계와 계획으로 구성
• 지속적인 노력과 자원 필요
• 정확하고(accuracy) 배포(deploy) 및 실무 적용을 염두에 둔 목표 설정
• 장기적 관점(long-term view)의 과제 유형 선택
• 문제 정의(problem definition) 중심 접근

분석 기획 시 고려사항

1. 데이터 확보
   • 분석 주제에 적합한 데이터 가 확보 가능한지를 확인
   • 데이터의 규모와 유형, 구조를 파악하여 분석 방법론 및 활용 솔루션을 고려
2. 활용 방안 설정 및 사례 탐색
   • 인사이트를 활용할 수 있는 방안 사전 탐색
   • 유사 사례 탐색 및 기대효과 등의 시나리오 설정
3. 장애 요소 파악
   • 발생 가능한 장애 요소를 사전에 파악하고 대응 계획 수립

Section 02 분석 방법론

01 분석 방법론 개요

분석 방법론 정의와 목적

1. 분석 방법론 활용 목적
   • 고정관념, 편향된 생각, 프레이밍 효과 등의 장애요소를 배제하고 적절한 분석 방법론 채택
2. 분석 방법론 정의와 구성
   • 데이터 분석 절차와 방법을 체계적으로 정리한 것
   • 절차, 방법, 도구와 기법, 템플릿과 산출물

대표적인 방법론 모델

1. 폭포수 모델(Waterfall Model)
   • 순차적으로 각 단꼐를 진행하는 하향식(top-down) 방법론
   • 문제가 발생한 전 단계로 돌아가는 피드백(feedback) 과정이 수행될 수 있으나 요구사항 등에 유연하게 대응하기 힘들다
2. 나선형 모델(Spiral Model)
   • 반복을 통하 점증적으로 개발하는 방법
   • 폭포수 모형에 비해 과정이 복잡하고 불분명할 수 있음
   • 사전에 절차 등을 명확히 설정하기 어려운 처음 시도하는 프로젝트 등에 적합
3. 프로토타입 모델(Prototype Model)
   • 초기 단계에서 프로토타입(시제품)을 만들어 피드백하여 수정 사항이 없을 때까지 개선된 프로토타입 개발 반복
4. 애자일 방법론(Agile Methodology)
   • 프로토타입을 만들고 반복을 통해 점진적으로 개선하는 방식
   • 나선형 모델 + 프로토타입 모델
   • 개발 과정에서 소통과 협업을 중심으로 문제에 유연하고 신속하게 대응하는 과정 자체에 대한 방법론

02 KDD 분석 방버론 vs CRISP-DM 분석 방법론

분석 방법론의 등장 배경

1. 운영 목적의 데이터 증가
   • 20세기 말 IT 기술의 발달로 데이터 수집
2. 데이터 활용 전략의 확대
   • 데이터 마이닝(Data Mining) : 쌓인 데이터 속에서 정보와 인사이트를 캐낸다
   • KDD, CRISP-DM과 같은 분석 방법론 제시
   • 모델링(Modeling) : 데이터 분석을 위한 알고리즘 활용 방법

KDD 분석 방법론

• 5 단계로 구성된 데이터 마이닝 프로세스
• 폭포수 모델과 같은 단계의 직선적 흐름

1. 데이터 선택(Selection)
   • 분석에 필요한 데이터 선택
2. 데이터 전처리(Preprocessing)
   • 잡음(noise), 이상치(outlier), 결측치를 식별하고 제거하거나 처리
3. 데이터 변환(Transformation)
   • 분석 목적과 알고리즘에 맞게 데이터를 변환
4. 데이터 마이닝(Data Mining)
   • 적절한 분석 기법을 선택하여 데이터를 분석하고 결과를 생성
5. 결과 평가(Interpretation/Evaluation)
   • 분석 결과의 비즈니스 적용 가능성 평가

CRISP-DM 분석 방법론

• 계층적 프로세스 모델 구조
  • 6 단계 일반화 태스크
  • 4단계 세분화 태스크

1. 비즈니스 이해(Business Understanding, 업무 이해)
   • 목표를 설정하고 프로젝트 계획을 수립
2. 데이터 이해(Data Understanding)
   • 데이터를 수집하고 데이터 탐색을 통해 속성을 이해하고 데이터 품질 문제 확인
3. 데이터 준비(Data Preparation)
   • 분석 방법에 적합한 데이터 준비
4. 모델링(Modeling)
   • 다양한 모델링 기법과 알고리즘을 선택하고 모델의 성능을 테스트하고 평가
5. 평가(Evaluation)
   • 완성된 모델이 프로젝트 목적에 부합하는지 평가
6. 전개(Deployment, 배포)
   • 완성된 모델을 실제 업무나 서비스에 적용

빅데이터 분석 방법론

• 단계(Phase) - 테스크(Task) - 스텝(Step)

1. 분석 기획(Planning)
2. 데이터 준비(Preparing)
3. 데이터 분석(Analyzing)
4. 시스템 구현(Developing, 개발)
5. 평가 및 배포(Deploying)

03 분석 과제 발굴

분석 과제 설정 방식

• 더블 다이아몬드 프로세스(Double Diamond Process)와 같이 탐색과 확장 중심의 상향식 접근과 정의와 해결 중심의 하향식 접근은 상호보완적으로 활용된다

하향식 접근 방식(Top Down Approach)

1. 문제 탐색(Problem Discovery) : 비즈니스 모델 내 문제 탐색
2. 문제 정의(Problem Definition) : 문제를 데이터 요구 사항으로 변환
3. 해결방안 탐색(Solution Search) : 데이터 문제 해결을 위한 전략 개발
4. 타당성 검토(Feasibility Study) : 가장 실현 가능한 솔루션 선택

상향식 접근 방식(Botton Up Approach)

• 문제가 구체적으로 정의되지 않은 상태에서 문제를 정의하고 주제를 설정하여 해결방안 탐색
• 이 과정을 반복하면서 지속적으로 개선
• 시행착오를 통한 점진적 개선

04 분석 프로젝트 관리

분석 프로젝트 관리

1. 데이터의 양(Data Size)
2. 데이터 복잡도(Data Complexity)
3. 속도(Speed)
4. 분석 복잡도(Analytic Complexity)
5. 정확도와 정밀도(Accuracy and Pricision)

분석 프로젝트 관리 방안

범위(Scope)

• 데이터의 형태와 양, 알고리즘
• 투입되는 자원의 규모 고려

시간(Time)

• 일정관리 및 시간 준수

비용(Cost)

• 데이터 및 인프라 비용

품질(Quality)

• 품질 목표와 관리 지표 사전 확정
• 품질 통제와 품질 보증으로 구분하여 품질 관리

통합(Integration)

• 프로세스들이 통합적으로 운영될 수 있도록 관리

조달(Procurement)

• 프로젝트 목적과 상황에 알맞은 인프라 외부 소싱을 적절하게 활용

자원(Resource)

• 고도화된 역량을 갖춘 인력 확보

리스크(Risk)

• 프로젝트 수행 지연 가능성 검토
• 대응 전략 수립

의사소통(Communication)

• 프로젝트 이해관계자가 정보를 공유할 수 있는 의사소통체계 방법

이해관계자(Stakeholder)

• 다양한 영역의 전문가 협업

Chapter 02 분석 마스터 플랜

Section 01 마스터 플랜 수립

01 분석 마스터 플랜 수립 프레임워크

우선순위 고려 요소

1. 전략적 중요도
2. 비즈니스 성과 및 ROI(Return On Investment)
3. 실행 용이성

적용 범위 및 방식 고려 요소

1. 업무 내재화 적용 수준
2. 분석 데이터 적용 수준
3. 기술 적용 수준

02 수행 과제 도출 및 우선순위 평가

우선순위 평가 방안

전략적 중요도

• 전략적 필요성
  • 전략적 목표 및 본원적 업무에 직접적인 연관관계가 밀접한 정도
  • 이슈 미해결 시 발생할 위험 및 손실에 대한 정도
• 시급성
  • 사용자 요구사항, 업무능률 향상을 위해 시급히 수행되어야 하는지에 대한 정도

실행 용이성

• 투자 용이성
  • 기간 및 인력 투입 용이성 정도
  • 비용 및 투자예산 확보 가능성 정도
• 기술 용이성
  • 적용 기술의 안정성 검증 정도
  • 응용 시스템, H/W 유지보수 용이성 정도
  • 개발 스킬 성숙도 및 신기술 적용성 정도

빅데이터의 특징을 고려한 분석 ROI 요소

1. 투자 비용(Investment)

• 빅데이터의 3V(Volume, Variety, Velocity)는 분석 대상 데이터의 특성 정의
• 인프라 비용과 인건비

1. 비즈니스 효과(Return)
   • 3V + Value(비즈니스 가치)
2. 시급성과 난이도를 고려한 우선순위 평가 기준
   • 시급성
     • 전략적 필요성에 따라 특정 주제의 선행 여부가 결정될 수 있음
     • 우선순위 평가에 활용
   • 난이도
     • 각 분석 주제의 내용과 범위에 따라 난이도 측정

시급성과 난이도 기준 우선순위 선정 매트릭스

	시급성 현재	시급성 미래
난이도 어려움	1	2
난이도 쉬움	3	4

1. 전략적 중요도가 높아 시급하게 추친 필요. 난이도가 높아 과제를 바로 적용하기 어려움
2. 전략적 중요도가 높지 않지만 반드시 추진되어야 함. 바로 적용하기에는 난이도가 높음
3. 전략적 중요도가 높음. 추진 난이도가 높지 않아 우선적으로 적용 가능
4. 전략적 중요도가 높지 않지만 반드시 추진되어야 함. 과제를 바로 적용하는 것은 어렵지 않음

최우선순위 유형 : 3

• 시급성이 현재에 가깝고 난이도가 낮아 우선순위가 높다

시급성 중심 우선순위 설정 : 3 → 1 → 4 → 2

난이도 중심 우선순위 설정 : 3 → 4 → 1 → 2

난이도 및 시급성 조정

• 난이도와 시급성은 상황에 따라 유동적으로 조정될 수 있고, 그에 따라 우선순위도 조정될 수 있다

03 이행 계획 수립

로드맵 수립

• 최적 실행 우선순위를 결정하고 단계적 구현 로드맵 수립
• 로드맵에는 단계별 추진 내용 포함

세부 이행계획 수립

• 과제별로 데이터 수집부터 모델링, 평가, 배포에 이르는 세부 절차를 정의하고 이행 계획을 수립
• 세부적인 일정계획 수립

Section 02 분석 거버넌스 체계 수립

01 거버넌스 체계

개요

거버넌스(Governance)

• 조직의 의사결정과 관리체계
• 누가 무엇을 결정하고, 어떻게 실행하며, 어떤 기준으로 평가할지에 대해나 규칙과 절차를 설정하는 것

구성 요소

1. 분석 기획 / 관리 및 추진 조직(Organization)
2. 과제 기획 및 운영 프로세스(Process)
3. 분석 관련 인프라 및 IT 시스템(System)
4. 데이터 거버넌스(Data)
5. 분석 관련 교육 및 마인드 육성 체계(Human Resource)

02 데이터 분석 수준 진단

분석 준비도(Readiness)

분석 업무 파악

• 발생한 사실 분석 업무
• 예측 분석 업무
• 시뮬레이션 분석 업무
• 최적화 분석 업무
• 분석 업무 정기적 개선

분석 인력 및 조직

• 분석 전문가 직무 존재
• 분석 전문가 교육 훈련 프로그램
• 관리자 기본 분석 능력
• 전사총괄조직
• 경영진 분석 업무 이해

분석 기법

• 업무별 적합한 분석 기법 사용
• 분석 업무 도입 방법론
• 분석 기법 라이브러리
• 분석 기법 효과성 평가
• 분석 기법 정기적 개선

분석 데이터

• 분석 업무를 위한 데이터
• 충분성/신뢰성/적시성
• 비구조적 데이터 관리
• 외부데이터 활용 체계
• 기준 데이터 관리(MDM)

분석 문화

• 사실에 근거한 의사결정
• 관리자의 데이터 중시
• 회의 등에서 데이터 활용
• 경영진 직관보다 데이터 활용
• 데이터 공유 및 협업 문화

IT 인프라

• 운영 시스템 데이터 통합
• EAI, ETL 등 데이터 유통체계
• 분석 전용 서버 및 스토리지
• 빅데이터/통계/비주얼 분석 환경

분석 성숙도(Maturity)

[1단계] 도입 : 분석 시작, 환경과 시스템 구축

• 비즈니스 부문
  • 실적 분석 및 통계
  • 정기 보고 수행
  • 운영 데이터 기반
• 조직, 역량 부문
  • 일부 부서에서 수행
  • 담당자 역량에 의존
• IT 부문
  • 데이터 웨어하우스
  • 데이터 마트
  • ETL/EAI
  • OLAP

[2단계] 활용 : 분석 결과를 업무에 적용

• 비즈니스 부문
  • 미래결과 예측
  • 시뮬레이션
  • 운영 데이터 기반
• 조직, 역량 부문
  • 전문담당부서 수행
  • 분석 기법 도입
  • 관리자가 분석 수행
• IT 부문
  • 실시간 대시보드
  • 통계분석 환경

[3단계] 확산 : 전사 차원에서 분석 관리, 공유

• 비즈니스 부문
  • 전사성과 실시간 분석
  • 프로세스 혁신 3.0
  • 분석 규칙 관리
  • 이벤트 관리
• 조직, 역량 부문
  • 전사 모든 부서 수행
  • 분석 COE 운영
  • 데이터 사이언티스트 확보
• IT 부문
  • 빅데이터 관리 환경
  • 시뮬레이션/최적화
  • 비주얼 분석
  • 분석 전용 서버

[4단계] 최적화 : 분석을 진화시켜 혁신 및 성과 향상에 기여

• 비즈니스 부문
  • 외부 환경 분석 활용
  • 최적화 업무 적용
  • 실시간 분석
  • 비즈니스 모델 진화
• 조직, 역량 부문
  • 데이터 사이언스 그룹
  • 경영진 분석 활용
  • 전략 연계
• IT 부문
  • 분석 협업 환경
  • 분석 SandBox
  • 프로세스 내재화
  • 빅데이터 분석

분석 수준 진단 결과

정착형

• 준비도 낮음, 성숙도 높음

확산형

• 준비도 높음, 성숙도 높음

준비형

• 준비도 낮음, 성숙도 낮음

도입형

• 준비도 높음, 성숙도 낮음

03 분석지원 인프라 방안 수립

개별 시스템

• 시스템 간 자체적인 데이터 교환
• 시스템별 독립적인 데이터 관리
• 확장 시 시스템 간 인터페이스 폭증

플랫폼 구조

• 분석 플랫폼을 활용한 공동 기능 활용
• 중앙집중적 데이터 관리
• 시스템 간 인터페이스 최소화

04 데이터 거버넌스 체계 수립

데이터 거버넌스 3요소

원칙(Principle)

• 데이터를 유지, 관리하기 위한 지침과 가이드로 보안, 품질기준, 변경관리 기준 등을 설정한다

조직(Organization)

• 데이터를 관리할 조직 및 관리자의 역할과 책임을 정의한다

프로세스(Process)

• 데이터 관리를 위한 작업 절차, 모니터링, 측정 등의 활동과 체계를 설정한다

데이터 거버넌스 체계

1. 데이터 표준화
   • 효율적인 의사소통을 위해 용어와 이름 등을 일원화하는 과정
   • 데이터 표준 용어 설정, 명명 규칙(Name Rule) 수립, 메타데이터 구축, 데이터 사전 구축 등
2. 데이터 관리 체계
   • 데이터 정합성을 위해 메타 데이터와 데이터 사전의 관리 원칙을 수립하고 데이터 생명 주기 관리 방안을 수립하여 데이터 가용성 및 비용을 관리
3. 데이터 저장소(Repository) 관리
   • 데이터를 관리하기 위한 전사 차원의 저장소 구성
   • 관리 대상 시스템과의 인터페이스를 통한 통제
4. 모니터링 및 개선 활동
   • 지속적인 데이터 표준화 개선 활동과 변화 관리 및 주기적인 교육 실시

05 데이터 조직 및 인력 방안 수립

데이터 분석 조직

조직 구조

• 비즈니스 질문을 선제적으로 찾아낼 수 있는 구조인가?
• 분석 전담 조직과 타 부서 간 유기적인 협조와 지원이 원활한 구조인가?
• 효율적인 분석 업무를 수행하기 위한 분석 조직의 내부 조직 구조는?
• 전사 및 단위 부서가 필요한 경우 접촉하여 지원할 수있는 구조인가?
• 어떤 형태의 조직으로 구성하는 것이 효율적인가?

인력 구성

• 비즈니스 및 IT 전문가의 조합으로 구성되어야 하는가?
• 어떤 경험과 스킬을 갖춘 사람으로 구성해야 하는가?
• 통계적 기법 및 분석 모델링 전문 인력을 별도로 구성해야 하는가?
• 전사 비즈니스를 커버하는 인력은 없다. 그렇다면?
• 전사 분석 업무에 대한 적합한 인력 규모는 어느 정도인가?

데이터 분석 조직 구조 유형

집중적 조직 구조

• 독립적인 분석 전담 조직 구성
• 회사의 모든 분석 업무를 전담 조직에서 담당
• 조직 내부에서 분석 과제의 우선순위를 정해 추진 가능
• 분석 결과의 실무 적용을 위해 타 부서와의 협의가 필요할 수도 있음

기능 중심 조직 구조

• 별도의 분석 조직을 구성하지 않고 각 현업 부서에서 분석 업무를 수행
• 전략적 중요도가 높은 핵심 주제에 대한 분석이 어려움
• 특정 부서에 국한된 업무 단위의 분석을 수행
• 소통의 부재로 유관 부서가 중복된 업무를 수행할 가능성 있음

분산 조직 구조

• 별도의 조직은 운영하되, 분석 조직의 인력을 현업 부서에 배치에 분석 업무를 수행
• 분석 과제 관리가 가능하고 중복 과제를 최소화하고 우선순위를 선정할 수 있으며 분석 결과를 신속하게 실무에 적용 가능

06 분석 과제 관리 프로세스 수립

1. 과제 발굴 단계
   • 비즈니스 문제를 파악하고 발굴한 분석 과제를 분석 과제 풀(Pool)로 관리하면서 우선순위를 설정하고 수행 과제를 선정
   1. 분석 Idea 발굴
   2. 분석 과제 후보 제안(과제 후보 Pool)
   3. 분석 과제 확정(전산분석조직)
2. 팀 구성
   1. 분석 과제
   2. 과제 제안자
   3. 과제 추진 팀
3. 과제 수행 단계
   • 분석 및 데이터 거버넌스 체계에 따라 분석 과제를 실행
   • 모니터링을 포함한 진행 관리를 병행하며 분석 결과를 공유 및 개선하는 절차 수행
   1. 분석 과제 실행
   2. 분석과제 진행 관리
   3. 결과 공유/개선

07 분석 교육 및 변화관리

분석 내재호 단계

준비기

• 분석중심 문화가 미도입된 균형상태/막연한 불안감 존재

도입기

• 기존 형태로 돌아가려는 경향
• 많은 조직이 분석 과제를 성공시키지 못하고 포기하는 단계
• 성공 시 강한 탄성에 의해 변화 가속화

안정 추진기

• 분석 활용이 일상화된 균형 상태