/ AI

서포트 벡터 머신

서포트 벡터 머신

  • support vector machine, SVM
  • 기계 학습의 분야 중 하나로 패턴 인식

키워드

  • 비확률적 이진 선형 모델 : 두 카테고리 중 어느 하나에 속한 데이터의 집합이 주어졌을 때, SVM 알고리즘은 주어진 데이터 집합을 바탕으로 하여 새로운 데이터가 어느 카테고리에 속할지 판단하는 비확률적 이진 선형 모델을 만든다.

  • 가장 큰 폭을 가진 경계 : 만들어진 분류 모델은 데이터가 사상된 공간에서 경계로 표현되는데 SVM 알고리즘은 그 중 가장 큰 폭을 가진 경계를 찾는 알고리즘이다.

  • 비선형 분류, 커널 트릭 : SVM은 선형 분류와 더불어 비선형 분류에서도 사용될 수 있다. 비선형 분류를 하기 위해서 주어진 데이터를 고차원 특징 공간으로 사상하는 작업이 필요한데, 이를 효율적으로 하기 위해 커널 트릭을 사용하기도 한다.

정의

  • SVM은 분류 또는 회귀 분석에 사용 가능한 초평면* 또는 초평면들의 집합으로 구성되어 있다.

  • 초평면 : 3차원의 공간 속의 평면을 가리킴

목표 및 아이디어

  • 목표
    • 데이터 간의 마진을 최대화 하는 것을 목표
    • 주어진 데이터 점들이 두 개의 클래스 안에 각각 속해 있다고 가정했을 때, 새로운 데이터 점이 두 클래스 중 어느 곳에 속하는지 결정하는 것이 목표
  • 선형 분류
    • 데이터 점이 P-차원 벡터 (p개의 숫자 리스트)로 주어졌을 때, 이러한 데이터 점을 (p-1)-차원의 초평면으로 분류할 수 있는지를 확인하고 싶은 것이다.
  • 데이터를 분류하는 초평면은 여러 경우가 나올 수 있다.
    • 초평면을 선택하는 타당한 방법 중 하나는 두 클래스 사이에서 가장 큰 분류 또는 마진을 가지는 초평면을 선택하는 것이다.
    • 그래서 우리는 초평면에서 가장 가까운 각 클래스의 데이터 점들 간의 거리를 최대로 하는 초평면을 선택한다.
      • 만약 그런 초평면이 존재할 경우, 그 초평면을 최대 마진 초평면이라 하고 선형 분류기를 최대 마진 분류기라고 한다.
  • 작동 방법
    1. 여러 초평면을 중 분류되는 초평면을 찾는다.
    2. 가장 가까운 데이터 사이의 여백이 최대인 공간을 가지는 초평면을 선택
    3. 이상값이 있는 경우는 무시하고 진행
    4. 비선형일 경우에는 커널트릭을 사용
      • 커널트릭 : 새로운 차원을 추가하여 분리가 가능한 창으로 변형
  • 응용 예시
    • 분류
      • 뉴스 기사 분류
      • 이미지 인식 : 얼굴 인식, 픽셀 이용
    • 회귀분석

서포트 벡터란?

  • 초평면을 최적화 하는데 도움이 되는 데이터 포인트
  • 초평면에 가장 가깝고 분류하기가 가장 어려움
  • 결정 초평면의 위치는 서포트 벡터에 따라 달라짐
  • 서포트 벡터를 제거하면 초평면의 위치도 달라짐
    • 결정경계에 가까운 값(서포트 벡터)들로 인해 경계가 경정이 되는데 그게(서포트벡터) 바뀌면 경계도 변하게 된다.
  • 초평면 주변 공간을 최대화 함

서포트 벡터와 신경망은 입력, 출력이 유사

  • 입력 : X1, X2, X3 … XN
  • 출력 : 목표 출력 t (0, 1 등)
  • 가중치 : 신경망 가중치 W1, W2, W3,…,WN 선형 조합이 출력 y를 예측하는 각 입력과 연관

차이점은?

  • 신경망 시냅스 가중치는 네트워크의 출력t를 계산하기 위해 제거
  • SVM에서는 최적의 결정 경계를 계산하기 위해 0이 아닌 가중치를 줄이거나 제거
  • 가중치를 제거하면 분리 가능한 초평면을 결정하는데 도움이 되는 몇가지 중요한 입력 기능으로 입력 데이터 세트가 줄어듭니다.
    • 제거된 가중치랑 연결된 특정 입력값이 제거

참조