[BDA x 영진닷컴] ADsP 스터디 Part 01 데이터 이해

Part 01 데이터 이해

Chapter 01 데이터의 이해

Section 01 데이터와 정보

01 데이터의 정의

데이터(Data)

• 존재적 특성 : 객관적 사실
• 당위적 특성 : 근거

데이터의 유형

1. 형태에 따른 구분
   • 정성 데이터(Qualitative Data) : 언어, 문자
   • 정량 데이터(Quantitative Data) : 수치, 도형, 기호
2. 구조에 따른 구분
   • 정형 데이터(Structured Data) : 표 형태 등 고정된 틀에 맞게 입력된 데이터
   • 비정형 데이터(Unstructured Data) : 이미지, 텍스트 등 고정된 틀에 적용하기 어려운 데이터

지식 경영과 데이터

1. 암묵지(Tacit Knowledge)
   • 드러나지 않은 지식
2. 형식지(Explicit Knowledge)
   • 형상화되어 전달과 공유과 용이한 지식
3. 지식의 순환
   • 공동화(Socialization) : 조직의 구성원이 동일한 지식을 공유
   • 표출화(Externalization) : 개인의 지식을 형태를 가진 데이터로 표현
   • 연결화(Combination) : 상대의 표출화된 지식을 본인의 지식에 연결
   • 내면화(Internalization) : 축적된 경험 및 데이터를 바탕으로 지식을 습득

DIKW 피라미드

• 데이터(Data) : 수치나 기호, 문자로 표현된 기록 그 자체를 의미
• 정보(Information) : 목적에 따라 데이터를 가공, 처리, 분석한 결과물
• 지식(Knowledge) : 정보를 연결하고 일반화한 체계적이고 가치 있는 사실
• 지혜(Wisdom) : 축적된 지식과 경험 및 아이디어를 결합한 창의적인 산물

Section 02 데이터베이스

01 데이터베이스와 정의와 특징

데이터베이스의 정의

• 목적을 위해 수집한 데이터를 공유하기 위해 통합 관리하는 정보의 집합
• 정리한 정보의 집합체

데이터베이스의 특징

• 통합된 데이터 : 중복 없음
• 저장된 데이터 : 컴퓨터가 접근할 수 있는 매체에 저장된다
• 공용 데이터 : 여러 사용자가 데이터를 공동으로 이용 가능
• 변화되는 데이터 : 데이터의 상태는 항상 변화하지만 각 시점에서 정확한 데이터를 유지해야 한다

02 데이터베이스의 활용

기업 내부 데이터베이스

• 모든 데이터를 연계하여 일관된 체계로 구축, 운영되며 경영 활동에 기반이 되는 시스템

데이터베이스 시스템 관련 용어

• OLTP(OnLine Transaction Processing)
  • 트랜잭션을 실시간으로 처리하는 시스템 → 데이터는 DW로 전송된다
• DW(Data Warehouse, 데이터 웨어하우스)
  • 중앙 저장소(창고)
  • 통합 DW를 EDW(Enterprise Data Warehouse)라고 부른다
  • 중앙 집중식 데이터 관리
  • OLTP에서 수집된 데이터를 통합하고 저장
• DM(Data Mart, 데이터 마트)
  • 특정 목적에 맞춘 소규모 DW
  • EDW의 하위 집합
• OLAP(OnLine Analytical Processing)
  • 대용량 데이터를 다양한 방법으로 분석하여 의사결정에 도움을 주는 시스템

데이터베이스 활용 전략 용어

• ERP(Enterprise Resource Planning)
  • 기업의 모든 자원과 프로세스를 통합적으로 관리하는 시스템
  • 운영 효율성을 높이고, 데이터의 일관성을 유지하며, 인사이트 제공
• 경영정보시스템(Management Information System, MIS)
  • 기업의 경엉관리에 필요한 정보를 수집, 가공, 축적하여 구성원에게 제공, 공유하는 시스템
  • 기업의 생산성과 수익성을 높이기 위해
• CRM(Customer Relationship Management, 고객 경험 관리)
  • 고객 데이터를 수집, 분석하여 맞춤형 서비스를 제공하고 마케팅 등에 활용
  • 고객 만족도와 충성도를 높이기 위해
• RM(Risk Management)
  • 위험을 수치화하고 최소화하거나 제어하기 위한 일련의 과정
  • 계약 및 거래의 연체를 관리하기 위해
• SCM(Supply Chain Management, 공급망 관리)
  • 제조업 및 유통업에서 공급망 전체를 관리하는 시스템
  • 원재료의 수급부터 최종 제품의 고객 전달까지의 모든 과정을 효율적으로 관리하고 비용 절감과 서비스 수준 향상을 목표로 한다
• BI(Business Intelligence, 비즈니스 인텔리전스)
  • 기업의 데이터를 분석하여 유용한 정보를 도출하고, 이를 바탕으로 의사결정을 지원하는 시스템
  • KPI 등 지표와 데이터 마이닝의 결과 등을 데이터 시각화, 대시보드로 표현한다

사회기반구조 데이터베이스

• 1990년대 사회 각 부문의 정보화로 데이터베이스 구축이 추진되었다
• 4차 산업혁명 등의 영향으로 사회 전반의 기간재로서 공공 데이터베이스가 자리매김

Chapter 02 데이터의 가치와 미래

Section 01 빅데이터의 이해

01 빅데이터의 이해

다양한 빅데이터 정의 및 특성

1. 규모 중심 정의
   • 일반적인 데이터베이스 소프트웨어로 저장, 관리, 분석할 수 있는 범위를 초과하는 규모의 데이터
2. 분석 비용 및 기술 초점 정의
   • 댜앙한 종류의 대규모 데이터로부터 저렴한 비용으로 가치를 추출하고 데이터의 초고속 수집, 발굴, 분석을 지원하도록 고안된 차세대 기술 및 아키텍처
3. 빅데이터의 특성 “3V”
   • Volume : 양, 크기
   • Variety : 다양성
   • Velocity : 속도

02 빅데이터의 출현 배경 및 영향

빅데이터 출현 배경

1. 데이터 산업의 진화
   • 데이터 처리 및 통합 중심의 비즈니스에서 더 많은 데이터를 연결하고 활용하며 분석하는 비즈니스로 확장
2. 비즈니스 데이터의 축적
   • 다양한 산업 영역에 걸쳐 규모가 큰 데이터 축적
3. 데이터 관련 기술의 발전
   • 기술의 발달로 데이터를 더 낮은 비용으로 처리, 저장, 활용할 수 있게 되었음
   • 실시간으로 더 많은 데이터가 생성되고 네트워크를 통해 이동할 수 있는 환경 조성
   • 분산처리, 클라우드 등 새로운 기술은 더 많은 트래픽과 데이터를 처리
4. 데이터 및 알고리즘 기반 연구 활발

빅데이터 영향

1. 빅데이터 관심 증가
2. 빅데이터 영향 증대
   • Data, Network, Artificial Intelligence
   • 빅데이터에 대한 관심과 투자 확대

데이터 분석 방향 변화

• 기존 : 주제 설정 → 실험 계획 → 실험 및 데이터 수집 → 데이터 처리 → 분석 → 결과 도출

1. 사전 처리 → 사후 처리
   • 기존에는 수집된 데이터ㄱ에서 불필요한 부분을 제거하는 사전 처리(pre-processing)가 중요했다
   • 빅데이터는 실험 계획과 상관없이 적재되는 경우가 많으며, 이미 적재된 데이터와 현재 상황에 맞네 분석 주제를 설정하고 데이터를 처리하는 사후 처리(post-processing)가 필요하다
   • 분석 주제 설정이 데이터 적재 이후에 이뤄지면서 데이터 처리 시점에 차이가 발생
2. 표본조사 → 전수조사
   • 실험이나 설문조사에는 데이터 수집과 관련된 비용이 듦
   • 관심 대상 전부를 조사하는 전수조사(census)가 어렵고, 일부 대상을 조사하는 표본조사(sampling)가 일반적
   • 이미 쌓여 있는 빅데이터를 활용해서 분석을 수행할 경우 적재된 데이터 전부 활용 가능
3. 질 → 양
   • 데이터 처리와 분석 과정에서 충분한 컴퓨팅 자원이 있다면, 더 많은 데이터를 활용하는 것이 더 나은 분석 결과를 가져오는 경우가 많다
   • 단, 실제 분석에서는 데이터의 질을 높이기 위한 작업이 선행되어야 한다
4. 인과관계 → 상관관계
   • 기존에는 다양한 통제(control) 기법을 활용하여 다른 요인이 미칠 영향을 최소화하여 데이터를 수집 → 분석 결과는 인과관계
   • 대부분의 빅데이터는 계획되지 않고 적재되기 때문에, 데이터의 패턴 등을 일반화하여 인과관계로 확장하기 어려움
   • 인사이트를 바탕으로 전략을 수립 후 전략 개선

03 빅데이터의 위기 요인과 통제 방안

위기 요인

1. 사생활 침해
   • 개인 정보 유출
2. 책임 원칙 훼손
   • 개인의 잘못이 아님에도 집단에 따라 불이익을 받는 책임 원칙 훼손 발생
3. 데이터 오용
   • 데이터 및 알고리즘에 대한 맹목적인 믿음에 의한 잘못된 의사결정 피해

통제 방안

1. 동의제에서 책임제로 전환
   • 정보 제공자의 동의보다 사용자의 책임을 강조
2. 결과 기반 책임 원칙 고수
   • 알고리즘의 예측이 아닌 실제 결과를 바탕으로 책임을 부여
3. 알고리즘 접근 허용
   • 알고리즘에 대한 접근권을 보장하고 객관적인 인증방안 도입

가치 패러다임의 변화 3단계

• 디지털화(Digitalization) : 아날로그 데이터의 디지털 변화 단계로, 빅데이터 분석의 출발점
• 연결(Connection) : 디지털화된 데이터를 다양한 채널과 네트워크로 연결하는 단계
• 에이전시(Agency) : 연결된 데이터를 활용해 의사결정과 예측, 실행으로 전환하는 단계

Section 02 데이터 사이언스

01 빅데이터 분석과 데이터 사이언스

전략 수립의 중요성

1. 인프라 중심 투자 한계 및 회의론 등장
   • 빅데이터 인프라 도입을 위한 투자 활발
   • 이후 데이터를 활용한 전략 부재로 인한 한계
2. 활용 가능성 및 가치 창출 중심의 빅데이터 전략 수립 필요
   • 데이터를 활용해서 가치를 창출할 수 있는 전략 필요
   • 비즈니스를 이해하고 전략적 인사이트를 제공하는 가치 중심의 분석 필요

빅데이터 분석의 3요소

• 데이터 : IoT(사물인터넷), 스마트 디바이스 등의 보급으로 데이터 폭증
• 기술 : 데이터 처리, 저장 및 분석을 위한 인프라 발전
• 인력 : 비즈니스 전략 수립의 중요성(데이터 사이언티스트 역할 강조)

산업별 주요 데이터 활용 및 분석 주제

• 전 산업 공통 : 수요 예측 및 목표 설정, 업무 자동화, BI 생성
• B2C 공통 : 고객 세분화, 개인화 마케팅, 고객 이탈 예측, 챗봇 운영
• 이커머스, 콘텐츠 : 상품 및 서비스, 콘텐츠 추천, 트래픽 관리
• 금융 : 리스크 관리, 투자 포트폴리오 최적화, 부정 거래 탐지
• 유통 : 판매 예측, 재고 최적화, 가격 최적화
• 제조 : 품질 관리, 공급망 최적화, 실시간 모니터링
• 운송 : 일정 관리, 교통량 예측 및 경로 최적화
• 헬스케어 : 진단 예측, 건강 데이터 모니터링, 신약 개발
• 에너지 : 수요 예측, 에너지 효율 분석, 사용 패턴 분석

주요 알고리즘 예시

• 규칙 기반(rule-based) → 기계 학습(machine learning)
• 적절한 알고리즘 선택 중요

1. 연관 규칙(Association Rule)와 협업 필터링(Collaborative Filtering)
   • 연관 상품 추천
2. 회귀(Regression)
   • 다른 변수들과의 관계 설명 및 예측
3. 분류(Classification)
   • 데이터 값 확률을 예측
4. 유전 알고리즘(Genetic Algorithms)
   • 최적 값을 찾는 최적화 기법
5. 네트워크 분석(Network Analysis)
   • 상호작용의 정도를 숫자로 계산하고 시각적으로 표현
6. 감정 분석(Sentiment Analysis)
   • 감정이나 의견을 파악

02 데이터 사이언스의 의미와 역할

데이터 사이언스

• 데이터에서 유의미한 인사이트를 도출하기 위해 다양한 기법과 도구를 사용하는 학문
• 데이터 분석 전반에 걸친 활동을 통해 데이터 기반 의사결정 지원

데이터 사이언스의 구성 영역

1. 정보기술(IT) 영역
   • 데이터 인프라를 구축하고 관리하는 역할
   • 데이터 분석을 위한 기술적 기반 제공
   • 데이터의 안전성과 접근성 보장
2. 분석(Analytics)영역
   • 인사이트를 도출하는 과정
   • 의사결정 지원
   • 비즈니스 성과 향상에 기여
3. 비즈니스 분석(Business Analysis) 영역
   • 비즈니스 문제를 정의하고, 데이터를 활용하여 해결책을 제안하는 과정
   • 비즈니스 목표를 달성하기 위해 데이터와 기술을 효과적으로 활용

데이터 사이언티스트

1. 정의와 역할
   • 데이터를 분석하고, 인사이트를 도출하는 전문가
   • 데이터 수집 및 처리부터 분석, 및 모델링, 시각화, 비즈니스 문제 해결까지 다양한 역할
2. 데이터 사이언티스트 요구 역량
   • 기술적 역량(Technical Skill, Hard Skill)
     • 빅데이터 및 알고리즘, 방법론에 대한 이해와 이론적 지식
     • 경험을 통한 분석 기술에 대한 숙달과 노하우를 활용한 최근 분석 설계 역량
   • 비기술적 역량(Non-technical Skill, Soft Skill)
     • 창의적 사고와 호기심, 논리적 비판을 통한 통찰력 있는 분석
     • 스토리텔링, 시각화를 활용한 설득력 있는 전달
     • 원활한 소통을 통한 다분야 간 협력 역량