[혼공머] 2-2. 데이터 전처리

 

1. 개념

• 튜플 : 수정이 불가능한 리스트
• 데이터 전처리 : 특성값을 일정한 기준으로 맞추는 작업
  • 표준점수 (z 점수) : 각 특성값이 평균에서 표준편차의 몇 배만큼 떨어져 있는지 나타낸다.
  • 실제 특성값의 크기와 상관없이 동일한 조건으로 비교할 수 있다.
• 브로드캐스팅 : 모든 행에 대해 표준 점수로 변환하는 넘파이 기능

 

2. 넘파이로 데이터 준비하기

1. 기존의 방법 : 매우 귀찮음

# 도미, 빙어 합친 데이터
fish_length = [25.4, 26.3, 26.5, 29.0, 29.0, 29.7, 29.7, 30.0, 30.0, 30.7, 31.0, 31.0,
                31.5, 32.0, 32.0, 32.0, 33.0, 33.0, 33.5, 33.5, 34.0, 34.0, 34.5, 35.0,
                35.0, 35.0, 35.0, 36.0, 36.0, 37.0, 38.5, 38.5, 39.5, 41.0, 41.0, 9.8,
                10.5, 10.6, 11.0, 11.2, 11.3, 11.8, 11.8, 12.0, 12.2, 12.4, 13.0, 14.3, 15.0]
fish_weight = [242.0, 290.0, 340.0, 363.0, 430.0, 450.0, 500.0, 390.0, 450.0, 500.0, 475.0, 500.0,
                500.0, 340.0, 600.0, 600.0, 700.0, 700.0, 610.0, 650.0, 575.0, 685.0, 620.0, 680.0,
                700.0, 725.0, 720.0, 714.0, 850.0, 1000.0, 920.0, 955.0, 925.0, 975.0, 950.0, 6.7,
                7.5, 7.0, 9.7, 9.8, 8.7, 10.0, 9.9, 9.8, 12.2, 13.4, 12.2, 19.7, 19.9]

**fish_data = [[l, w] for l, w in zip(fish_length, fish_weight)]  
fish_target = [1] * 35 + [0] * 14**              

• 해결방법 - 모두 튜플을 이용
  • np.column_stack() : 리스트를 일렬로 세우고 나란히 연결 = 2차원

    array([[1, 4],
           [2, 5],
           [3, 6]]       
    

  • # example import numpy as np np.column_stack(([1,2,3], [4,5,6]))
  • np.concatenate() : 첫 번째 차원을 따라 두 배열 연결 = 1차원

2. numpy를 이용한 데이터 준비

• np.ones() : 1로 채운 배열 반환
• np.zeros() : 0으로 채운 배열 반환

fish_data = **np.column_stack**((fish_length, fish_weight))
fish_target = **np.concatenate**((np.ones(35), np.zeros(14)))

 

3. 사이킷런으로 훈련 세트와 테스트 세트 나누기

1. 기존의 방법 : 매우 귀찮음

train_input = input_arr[index[:35]]
train_target = target_arr[index[:35]]
test_input = input_arr[index[35:]]
train_target = target_arr[index[35:]]      

• 해결방법 : 사이킷런의 model_selection 모듈 아래 train_test_splitfrom sklearn.model_selection import train_test_split
  • np.random.seed() 대신, random_state로 seed 지정한다.
  • stratify 매개변수로 타겟 데이터를 전달하면 클래스 비율에 맞게 데이터를 나눈다.

2. train_test_split 이용하기

• 4개의 배열 반환

from sklearn.model_selection import train_test_split

train_input, test_input, train_target, test_target = 
		train_test_split(fish_data, fish_target, stratify=fish_target, random_state=42)

• 기본적으로 25%를 테스트 세트로 떼어낸다

 

4. 수상한 도미 K-Neighbors로 예측하면서 발생하는 문제와 원인

• 내가 받은 데이터 [[25, 150]]는 ‘도미’ 데이터이다.
• 따라서 예측을 했을 때 1이 나와야 한다.

1. 모델 훈련, 평가, 예측까지 한 번에 해보자.

from sklearn.neighbors import KNeighborsClassifier
kn = KNeighborsClassifier()
kn.fit(train_input, train_target)
kn.score(test_input, test_target) # 1.0

print(kn.predict([[25, 150]]) # [0,]이라 도미가 아닌, 방어로 예측

2. 잘못된 예측을 산점도로 확인하기

• ‘내가 받은 데이터의 위치’ 를 산점도로 확인해보자.
• 거리상 도미랑 더 가깝다..
• 어떤 이웃을 보고 빙어로 예측했는지, n_neighbors=5를 산점도로 확인해보자.
  • kneighbors() : 주어진 샘플에서 가장 가까운 이웃을 찾아 이웃까지의 거리와 이웃 샘플의 인덱스 반환

  # 이웃 찾기
  distances, indexes = kn.kneighbors([[25, 150]])
  
  plt.scatter(train_input[:,0], train_input[:,1])
  plt.scatter(25, 150, marker='^')
  plt.scatter(train_input[indexes,0], train_input[indexes,1], marker = 'D') # D = 다이아몬드 표시
  plt.xlabel('length')
  plt.ylabel('weight')
  
  

• 가장 가까운 이웃 중 도미는 1개 밖에 없다..!

3. 잘못 예측한 원인

• 산점도에서 거리 비율이 이상하다는 것을 알 수 있다.→ 스케일이 달라서 생기는 문제!
• x축은 범위가 좁고, y축은 범위가 넓다 → y축으로 조금만 멀어져도 아주 큰 값으로 계산

4. 눈으로 명확하게 확인해보기

• 더 큰 쪽의 스케일에 맞추어 산점도를 그려보자.

plt.scatter(train_input[:,0], train_input[:,1])
plt.scatter(25, 150, marker='^')
plt.scatter(train_input[indexes,0], train_input[indexes,1], marker = 'D')
plt.xlim((0, 1000)) # x의 스케일 변화
plt.xlabel('length')
plt.ylabel('weight')

x축은 거의 일정하니까, y축에 큰 영향을 받는다 = 생선의 무게만 고려해도 된다.

 

5. 표준점수를 이용한 데이터 전처리와 모델 훈련 & 예측

1. 데이터 전처리

• 샘플 간의 거리에서 받는 영향을 줄이기 위해 꼭 필요한 작업

2. 표준 점수를 이용한 전처리

• 정규분포 만드는 방법과 같음
• np.mean 과 np.std를 이용한다.
• axis = 0 (행 기준) → 행을 따라 세로로 이동하며 각 열의 통계 값을 계산

mean = np.mean(train_input, axis=0) # axis = 0 : 특성별
std = np.std(train_input, axis=0)

train_scaled = (train_input - mean) / std
test_scaled = (test_input - mean) / std # 훈련 세트의 평균과 표준편차 이용

• 내가 받은 데이터 스케일 전 후 산점도 비교

new = ([25, 150]-mean) / std 

plt.scatter(train_scaled[:,0], train_scaled[:,1]) 
plt.scatter(new[0], new[1], marker='^')
plt.xlabel('length') 
plt.ylabel('weight')

plt.scatter(train_scaled[:,0], train_scaled[:,1])
plt.scatter(25, 150, marker='^') 
plt.xlabel('length') 
plt.ylabel('weight')

3. 모델 훈련과 평가, 예측

kn.fit(train_scaled, train_target)
kn.score(test_scaled, test_target) # 1.0

print(kn.predict([new]) #[1.]

• 최근접 이웃 다시 확인해보기

  distances, indexes = kn.kneighbors([new])
  
  plt.scatter(train_scaled[:,0], train_scaled[:,1])
  plt.scatter(new[0], new[1], marker='^')
  plt.scatter(train_scaled[indexes,0], train_scaled[indexes,1], marker = 'D')
  plt.xlabel('length')
  plt.ylabel('weight')
  ​

 

6. 스케일이 다른 특성 처리 전체 코드

# 데이터 준비
fish_length = [25.4, 26.3, 26.5, 29.0, 29.0, 29.7, 29.7, 30.0, 30.0, 30.7, 31.0, 31.0,
                31.5, 32.0, 32.0, 32.0, 33.0, 33.0, 33.5, 33.5, 34.0, 34.0, 34.5, 35.0,
                35.0, 35.0, 35.0, 36.0, 36.0, 37.0, 38.5, 38.5, 39.5, 41.0, 41.0, 9.8,
                10.5, 10.6, 11.0, 11.2, 11.3, 11.8, 11.8, 12.0, 12.2, 12.4, 13.0, 14.3, 15.0]
fish_weight = [242.0, 290.0, 340.0, 363.0, 430.0, 450.0, 500.0, 390.0, 450.0, 500.0, 475.0, 500.0,
                500.0, 340.0, 600.0, 600.0, 700.0, 700.0, 610.0, 650.0, 575.0, 685.0, 620.0, 680.0,
                700.0, 725.0, 720.0, 714.0, 850.0, 1000.0, 920.0, 955.0, 925.0, 975.0, 950.0, 6.7,
                7.5, 7.0, 9.7, 9.8, 8.7, 10.0, 9.9, 9.8, 12.2, 13.4, 12.2, 19.7, 19.9]
                
# length, weight 합친 fish_data 만들기
import numpy as np
fish_data = np.column_stack((fish_length, fish_weight))

# fish_target 만들기
fish_target = np.concatenate((np.ones(35), np.zeros(14)))

# 사이킷런으로 훈련 세트와 테스트 세트 나누기
from sklearn.model_selection import train_test_split
train_input, test_input, train_target, test_target = 
		train_test_split(fish_data, fish_target, stratify=fish_target, random_state=42)
																						
# 수상한 도미 예측 - 전처리 전!
from sklearn.neighbors import KNeighborsClassifier
kn = KNeighborsClassifier()
kn.fit(train_input, train_target)
kn.score(test_input, test_target)    
print(kn.predict([[25, 150]])) # 빙어로 예측

import matplotlib.pyplot as plt
plt.scatter(train_input[:,0], train_input[:,1])
plt.scatter(25, 150, marker='^') # 삼각형 표시 = ^
plt.xlabel('length')
plt.ylabel('weight')

# 수상한 도미 예측 - 최근접 이웃 확인
distances, indexes = kn.kneighbors([[25, 150]])
plt.scatter(train_input[:,0], train_input[:,1])
plt.scatter(25, 150, marker='^')
plt.scatter(train_input[indexes,0], train_input[indexes,1], marker = 'D') # D = 다이아몬드 표시
plt.xlabel('length')
plt.ylabel('weight')
print(train_target[indexes])

# 수상한 도미 전처리하기
# 1. 기준 맞추기
plt.scatter(train_input[:,0], train_input[:,1])
plt.scatter(25, 150, marker='^')
plt.scatter(train_input[indexes,0], train_input[indexes,1], marker = 'D')
plt.xlim((0, 1000)) # x, y축의 스케일 비슷
plt.xlabel('length')
plt.ylabel('weight')

# 2. 표준점수로 전처리
mean = np.mean(train_input, axis=0) # axis = 0 : 특성별
std = np.std(train_input, axis=0)
train_scaled = (train_input - mean) / std            
test_scaled = (test_input - mean) / std

# 전처리 한 걸로 모델 훈련
#1. 산점도 재확인
new = ([25, 150]-mean) / std # 표준화
plt.scatter(train_scaled[:,0], train_scaled[:,1])
plt.scatter(new[0], new[1], marker='^')
plt.xlabel('length')
plt.ylabel('weight')

#2. fit, score, predict
kn.fit(train_scaled, train_target)
kn.score(test_scaled, test_target)
print(kn.predict([new])) # 도미

#3. 최근접 이웃 다시 표시
distances, indexes = kn.kneighbors([new])
plt.scatter(train_scaled[:,0], train_scaled[:,1])
plt.scatter(new[0], new[1], marker='^')
plt.scatter(train_scaled[indexes,0], train_scaled[indexes,1], marker = 'D')
plt.xlabel('length')
plt.ylabel('weight')