[혼공머] 2-1. 훈련 세트와 테스트 세트

1. 개념

• 머신러닝 알고리즘의 종류
  • 지도 학습
  • 비지도 학습
• 훈련 데이터 : 입력 데이터 + 타겟 데이터
• 훈련 세트 : 훈련에 사용되는 데이터
• 테스트 세트 : 평가에 사용하는 데이터, 훈련 데이터의 일부
• 샘플링 편향 : 샘플링이 한쪽으로 치우쳐 훈련 세트와 테스트 세트에 샘플이 골고루 섞이지 않은 경우

---

2. 넘파이

• 파이썬의 배열 라이브러리, 고차원의 배열 만들고 조작할 때 사용
• 파이썬 리스트를 넘파이 배열로 바꾸기 : array 함수 이용 → 행 열 가지런히 출력

  import numpy as np
  input_arr = np.array(fish_data)
  target_arr = np.array(fish_target)
  print(input_arr)
  
  print(input_arr.shape) # (49, 2)

---

3. 샘플링 편향 발생하는 K-Neighbors

1. 도미와 빙어 데이터 가져오기

fish_length = [25.4, 26.3, 26.5, 29.0, 29.0, 29.7, 29.7, 30.0, 30.0, 30.7, 31.0, 31.0,
                31.5, 32.0, 32.0, 32.0, 33.0, 33.0, 33.5, 33.5, 34.0, 34.0, 34.5, 35.0,
                35.0, 35.0, 35.0, 36.0, 36.0, 37.0, 38.5, 38.5, 39.5, 41.0, 41.0, 9.8,
                10.5, 10.6, 11.0, 11.2, 11.3, 11.8, 11.8, 12.0, 12.2, 12.4, 13.0, 14.3, 15.0]
fish_weight = [242.0, 290.0, 340.0, 363.0, 430.0, 450.0, 500.0, 390.0, 450.0, 500.0, 475.0, 500.0,
                500.0, 340.0, 600.0, 600.0, 700.0, 700.0, 610.0, 650.0, 575.0, 685.0, 620.0, 680.0,
                700.0, 725.0, 720.0, 714.0, 850.0, 1000.0, 920.0, 955.0, 925.0, 975.0, 950.0, 6.7,
                7.5, 7.0, 9.7, 9.8, 8.7, 10.0, 9.9, 9.8, 12.2, 13.4, 12.2, 19.7, 19.9]
                
                
fish_data = [[l, w] for l, w in zip(fish_length, fish_weight)] # 2차원 리스트
fish_target = [1]*35 + [0]*14 # 1은 도미, 0은 빙어                

2. 훈련 데이터와 테스트 데이터

• 처음 35개를 훈련 데이터, 나머지 14개를 테스트 데이터로 사용

train_input = fish_data[:35]
train_target = fish_target[:35]
test_input = fish_data[35:]
train_target = fish_target[35:]

3. K-Neighbors 알고리즘

• 훈련 세트로 fit
• 테스트 세트로 score

from sklearn.neighbors import KNeighborsClassifier # 이게 더 간편
kn = KNeighborsClassifier()

kn.fit(train_input, train_target)
kn.score(test_input, test_target) # 0 나옴

---

4. 샘플링 편향 제거한 K-Neighbors & Numpy

1. 무작위로 인덱스 섞기

• numpy에서 만든 input_arr과 target_arr을 이용한다.
• input_arr과 target_arr은 같은 위치에 있는 것끼리 사용해야 동일한 생선에 대한 데이터가 된다.
• numpy의 random seed → 항상 동일한 결과
• numpy의 arange(a, b) → a부터 b-1까지 1씩 증가하는 인덱스 만들기

np.random.seed(42) # 실습과 동일한 결과
index = np.arange(49) # 생선 데이터가 49개 있음
np.random.suffle(index) # 인덱스 번호만 섞기

2. 훈련 데이터와 테스트 데이터

• shuffle 후의 데이터에 대해 처음 35개를 훈련 데이터, 나머지 14개를 테스트 데이터로 사용

train_input = input_arr[index[:35]]
train_target = target_arr[index[:35]]
test_input = input_arr[index[35:]]
train_target = target_arr[index[35:]]

• 잘 섞였는지 체크
  • 이차원 배열은 [행, 열]

  import matplotlib.pyplot as plt
  
  plt.scatter(train_input[:, 0], train_input[:, 1]) # 0: 첫 번째 열, 1 : 두 번째 열
  plt.scatter(test_input[:, 0], test_input[:, 1]) # 길이는 x축, 무게는 y축
  plt.xlabel('length')
  plt.ylabel('weight')
  

3. K-Neighbors 알고리즘

from sklearn.neighbors import KNeighborsClassifier # 이게 더 간편
kn = KNeighborsClassifier()

kn.fit(train_input, train_target)
kn.score(test_input, test_target) # 1.0

kn.predict(test_input) # test_input으로 도미인지 빙어인지 예측한 결과 출력
test_target # 위의 코드와 비교해볼 수 있음