데이터의 가치와 미래, 데이터 사이언스와 전략 인사이트

빅데이터의 가치

1. 빅데이터의 가치

• 어떤 인사이트를 발굴하는지에 따라 다름

​

2. 빅데이터 가치 산정의 어려움

• 데이터 활용 방식 : 누가 썼는지 모름
• 가치 창출 방식 : 전에 없던 가치
• 분석 기술의 발전

---

빅데이터의 영향

1. 빅데이터의 영향

• 기업
• 정부 : 미래 대응
• 개인

​

2. 빅데이터가 가치를 만들어내는 5가지 방식

• 투명성 제고
• 시뮬레이션을 통한 경쟁력 강화
• 맞춤 서비스 제공
• 알고리즘 활용
• 혁신

​

3. 빅데이터 경영 혁신의 4단계

1. 1. 생산성 향상
   2. 발견에 의한 문제 해결
   3. 의사결정 향상
   4. 새로운 고객가치와 비즈니스 창출

---

빅데이터 활용 사례

1. 빅데이터 활용 사례

• 기업 혁신 : 구글
• 정부 활용 : 교통정보
• 개인 활용 : SNS

​

2. 미래의 빅데이터 활용에 필요한 3요소

• 데이터
• 기술
• 인력

---

빅데이터 활용 기본 테크닉 7가지

1. 연관 규칙 학습 : 주목할만한 상관관계 찾기 ex. 장바구니 분석
2. 유형분석 : 사건이 속할 범주 찾기
3. 유전 알고리즘 : 최적화 관련 문제의 해결책을 자연선택 등의 메커니즘 이용
4. 기계학습 = 머신러닝 : 컴퓨터가 데이터로부터 규칙 찾고 예측하기
   • K-NN, SVM, 인공신경망, 유전 알고리즘 등 다양하게 사용
5. 회귀분석 : 독립변수에 따른 종속변수의 변화 (수치형)
6. 감정분석 : 비정형 데이터 마이닝, 특정 주제에 대한 말이나 글에서 감정 분석
   • 스태밍 : 어원 찾는 작업
   • 코퍼스 : 텍스트 분석을 위해 모아놓은 단어들의 저장소
   • 토큰화 : 가장 작은 단위의 단어로 쪼개기
   • 임베딩 : 벡터로 변환
7. 소셜 네트워크 분석 : 사회 관계망 분석, 팔로워나 팔로우 이용
   • 연결 중심성 : 얼마나 많은 노드와 연결되어 있는가
   • 근접 중심성 : 다른 노드와 얼마나 가까운가
   • 매개 중심성 : 노드가 어디에 위차하는가 → 영향력 파악
   • 아이겐벡터 중심성 : 중심성 + 가중치 활용

---

빅데이터 위기 요인과 통제 방안

1. 위기 요인과 통제 방안

• 사생활 침해 → 개인정보 제공자의 ‘동의’에서 개인정보 사용자의 ‘책임’으로
• 책임 원칙 훼손 → 결과 기반 책임 원칙 고수
• 데이터 오용 → 알고리즘 접근 허용 : 알고리즘 살펴보기 (알고리즈미니스트)

​

2. 개인정보 비식별 기술

• 데이터 마스킹 : 형식 유지, 임의의 값으로 대체
• 가명 처리 : 다른 이름으로 변경
• 데이터 값 삭제
• 총계 처리 : 평균 사용
• 데이터 범주화 : 범위 제공

---

빅데이터 분석과 전략 인사이트

1. 빅데이터 열풍과 회의론

• 기대는 증가했으나, 빅데이터가 무조건 새로운 가치로 연결되는 것은 아니다.
• 부정적 학습 효과
• 과대 포장

​

2. 빅데이터 분석의 핵심 = 인사이트

• 데이터로부터 어떤 시각과 인사이트를 얻을 수 있는가
• 걸림돌은 ‘분석적 방법과 성과에 대한 이해 부족’

​

3. 전략적 인사이트의 사례

• 싸이월드
  • 데이터 분석 기초 X
  • 협소한 문제에 집중
  • 평가 지표 X
  • 트렌드 변화 관심 X
• 페이스북
  • 사용자 니즈 반영 플랫폼
  • 사용자가 개인정보 노출범위 통제
  • 서비스 정착 전까지 광고 X
  • 모바일 트렌드 맞춤
• 아메리칸 항공
  • 비행경로와 승무원 일정 최적화
  • 초기 비용 절감
  • 타 경쟁사도 비슷한 모델 갖춤
  • 경쟁 우위 하락
• 사우스웨스트 항공
  • 단순 최적화 모델 : 한 가지 기종
  • 경쟁 우위 상승

---

일차원적 분석과 가치 기반 분석

1. 일차원석 분석

• 금융 서비스 : 신용점수, 사기 탐지, 가격 책정, 프로그램 트레이딩
• 에너지 : 트레이딩, 공급과 수요 예측
• 병원 : 가격 책정, 고객 로열티
• 정부 : 사기탐지, 사례관리, 범죄방지

​

2. 가치 기반 분석

• 일차원적 분석을 성공시키면서 분석 활용 범위 넓히기

---

데이터 사이언스에 대한 이해와 역할

1. 데이터 사이언스

: 데이터로부터 의미 있는 정보를 추출해내는 학문

• 통계 : 정형화된 것들을 분석
• 데사 : 다양한 유형의 데이터를 분석

​

2. 데이터 사이언스의 역할

• 데사 : 분석 + 인사이트 도출, 더 총체적인 접근법 사용
• 데마 : 분석에 초점

---

데이터 사이언스와 데이터 사이언티스트

1. 데이터 사이언스 구성 요소

• Analytics : 하드 + 소프트 / 수학, 확률 모델 등
• IT : 하드 / 프로세싱, 프로그래밍 등
• 비즈니스 분석 : 소프트 / 시각화, 커뮤니케이션 등

​

2. 데이터 사이언티스트 요구 역량

• 하드 스킬 : 빅데이터 이론 지식, 분석 기술의 숙련
• 소프트 스킬
• 통찰력 있는 분석 : 창의적 사고, 호기심, 비판
• 설득력 있는 전달 : 스토리텔링, 시각화
• 다분야 간 협력 : 커뮤니케이션

---

데이터 사이언스 : 과학 + 인문학

1. 외부 환경에서 본 인문학의 열풍

외부환경	변화
컨버전스 → 디버전스	단순 세계화 → 복잡 세계화
생산 → 서비스	제품 생산 → 서비스
생산 → 시장 창조	기술 경쟁 → 무형 자산의 경쟁

2. 인문학적 사고의 특성

• 핵심적인 문제에 대답할 수 있는 수준의 인사이트 필요
• 과거, 현재, 미래에 대한 질문

---

가치 패러다임의 변화

1. 가치 패러다임

• 패러다임 : 한 시대 사람들의 견해나 사고에 대한 프레임
• 패러다임 시프트 : 시대 변화에 따라 다음 세대의 패러다임에 자리 물려줌
• 가치 패러다임 : 가치에 대한 패러다임

​

2. 가치 패러다임의 변화

1. 1. 디지털화 : 아날로그 to 디지털
   2. 연결화 : 디지털화된 것들 사이의 연결
   3. 에이전시 : 복잡한 연결 관리

• 데이터화 : 사물인터넷

---

데이터 사이언스의 한계와 인문학

1. 데이터 사이언스의 한계

• 분석은 가정에 근거
• 가정이 유지되는 동안 외부 요인은 변화하고 있음
• 데이터 분석은 100% 완벽하지 않다.

​

2. 데이터 사이언티스트에게 요구되는 인문학

인문학 중요하다는 그런..

---

빅데이터 키워드 13개

1. 인공지능
2. : 고차원적 정보처리 능력을 구현하는 ICT 기술, 머신러닝의 딥러닝과 관련
3. 머신러닝과 딥러닝의 차이

머신러닝	딥러닝
	진보적 머신러닝
일정부분 사람 개입 필요	스스로 판단하고 결정
인간과 유사한 논리구조

4. 빅데이터 플랫폼

• • 빅데이터 프로세스 환경, 빅데이터 수집 후 데이터 레이크에 적재
  • 관리 플랫폼과 분석 플랫폼으로 나뉨

5. 하둡 : 자바 기반 빅데이터 저장 및 처리기술 프레임워크

6. 데이터 레이크 : 다양한 형태의 raw data를 모은 집합소

7. 마이데이터

8. 개인정보보호법

9. 개인정보비식별화

10. 스마트 팩토리

11. 블록체인

12. 메타버스 : 증강현실, 일상기록, 거울세계, 가상사계

13. 챗지피티