분석 기획과 분석 방법론

분석 기획

1. 분석 기획의 정의

• 실제 분석을 수행하기 전 사전에 계획하는 작업

​

2. 분석 기획의 특징

• 데이터 사이언티스트의 요구 역량

​

3. 분석 대상과 방법에 따른 분석 종류

| 분석 방법 | 분석 대상 | 분석 대상 알고 있음 | 분석 대상 모름 | | --- | --- | --- | | 분석 방법 알고 있음 | 최적화 | 통찰력 | | 분석 방법 모름 | 솔루션 | 발견 |

​

4. 목표 시점별 분석 기획

• 과제 중심적 접근 방식
  • 빠른 해결
  • speed & test
  • quick & run
  • problem solving
• 장기적인 마스터플랜 방식
  • 지속적인 해결
  • accuracy & deploy
  • long term vew
  • problem definition

​

5. 분석 기획 시 고려 사항

• 가용 데이터 고려 : 데이터 확보, 데이터 유형
• 적절한 활용 방안과 유스케이스 탐색
• 장애요소에 대한 사전 계획 수립

---

분석 방법론

1. 분석 방법론의 정의

• 주어진 과제를 해결하기 위해 조직이 작업을 수행하는 절차를 정의한 것

​

2. 분석 방법론의 구성요소

• 상세한 절차
• 방법
• 도구와 기법
• 템플릿과 산출물

​

3. 기업의 합리적 의사결정 방해요소

• 고정관념
• 편향된 시각
• 프레이밍 효과

​

4. 분석 방법론의 생성 과정

1. 1. 암묵지 → 형식지 : 표출화
   2. 형식지 → 방법론 : 체계화
   3. 방법론 → 암묵지 : 내재화

​

5. 분석 방법론이 적용되는 모델

• 폭포수 모델
  • 단계를 거쳐 순차적으로 진행
  • 이전 단계로 돌아가 피드백 가능
• 프로토타입 모델
  • 사용자 중심의 개발 방법, 고객의 요구를 완전히 이해하지 못했을 때 사용
  • 일부분 개발 후 고객의 요구에 따라 개선
• 나선형 모델
  • 위험 요소 제거에 초점
  • 처음 시도할 때 용이, 관리 체계 제대로 못 갖추면 복잡도 상승
• 계층적 프로세스 모델
  • 구성(3레벨) : 단계 - 테스크 - 스텝
  • 스텝: WBS의 워크 패키지, 입력- 처리 및 도구 - 출력으로 구성된 단위 프로세스

---

전통적 분석 방법론 - KDD 분석 방법론

1. KDD 분석 방법론의 정의

• 데이터 마이닝 프로세스 : 데이터에서 통계적 패턴이나 지식 찾기
• 인공지능, 시각화 등에서 응용 가능

​

2. KDD 분석 방법론 단계(프로세스)

1. 데이터셋 선택 : 타깃 데이터 생성
2. 데이터 전처리 : 재가공
3. 데이터 변환 : training, test
4. 데이터 마이닝
5. 해석과 평가

---

전통적 분석 방법론 - CRISP-DM 분석 방법론

1. CRISP-DM 분석 방법론의 정의

• 세분화된 KDD 분석 방법론
• 1999년 유럽 연합에서 발표한 계층적 프로세스 모델
• 4 레벨 : 단계 - 일반화 테스크 - 세분화 테스크 - 프로세스 실행

​

2. CRISP-DM 분석 방법론 단계(프로세스)

1. 1. 업무 이해
   2. 데이터 이해 : 초기 데이터 수집, 데이터 기술 분석, 데이터 품질 확인
   3. 데이터 준비 : 분석용 데이터셋 선택, 데이터 정제 등
   4. 모델링 : 모델링 + 모델 평가만
   5. 평가 : 분석 결과, 모델링 과정, 모델링 적용성 평가
   6. 전개 : 계획 수립

---

빅데이터 분석 방법론

1. 빅데이터 분석 방법론의 정의

• 완벽한 계층적 프로세스 모델 : 3 레벨 (단계 - 테스크 - 스텝), 5 단계 = 프로세스 그룹

​

2. 빅데이터 분석 방법론 단계 (프로세스)

1. 분석 기획
2. 비즈니스 이해 및 범위 설정
3. 프로젝트 정의 및 계획 수립
4. 프로젝트 위험 계획 수립 : 회피, 전이, 완화, 수용
5. 데이터 준비
6. 필요 데이터 정의
7. 데이터 스토어 설계 : 효율적 활용
8. 데이터 수집 및 정합성 검정 : 품질 체크
9. 데이터 분석
10. 분석용 데이터 준비
11. 텍스트 분석
12. 탐색적 분석 : 데이터 분포와 특성 확인, 시각화
13. 모델링
14. 모델 평가 및 검증
15. 시스템 구현
16. 설계 및 구현
17. 시스템 테스트 및 운영
18. 평가 및 전개
19. 모델 발전 계획
20. 프로젝트 평가 및 보고

---

다양한 산출물(출력자료)

• 요구사항 정의서 : 고객이 원하는 걸 적은 문서
• 업무분업구조(WBS) : 작은 단위의 업무로 나누어 담당자, 기간을 적은 문서
• 데이터 정의서 : 데이터를 생성한 의도를 적은 문서, 일관성 유지
• 개체-관계 다이어그램(ERD) : 데이터와 개체의 관계를 글과 그림으로 표현한 것
• (클라우드) 자원 명세서 : 컴퓨팅 자원을 명세한 것