nnn-차원 공간에서 정의된 (n−1)(n-1)(n−1)-차원 초평면

• 초평면은 n-차원 공간에서 하나의 차원을 감소시킨 (n−1)-차원의 공간을 의미

xor로는 퍼셉트론 불가

why? 선형 분리 불가 (한 줄로 두 클래스를 나눌 수 없음)

그래서 2^(2*2) - 2개의 함수만 표현 가능 (xor, xnor 제외)

4개의 조합에 대해 0 또는 1의 출력을 결정하므로 2^(2^2)

Rosenblatt’s Perceptron Learning Algorithm

Perceptron Convergence Theorem (Novikoff)

The perceptron algorithm is guaranteed to terminate after a bounded number t of weight updates with a weight vector w*

Limitations of Perceptrons

• 퍼셉트론은 임계값(threshold) 함수만 표현 가능:
  • 퍼셉트론은 입력 값에 대해 선형 결합을 사용하여 임계값(Threshold)을 기준으로 출력 1 또는 −1을 결정합니다. 따라서 복잡한 비선형 관계를 표현할 수 없습니다.
• 퍼셉트론은 선형 결정 경계만 학습 가능:
  • 퍼셉트론은 데이터를 나누는 **선형 초평면(Linear Decision Boundary)**만 학습할 수 있습니다.
• 데이터가 선형 분리 불가능할 경우:
  1. 학습 절차 또는 가중치 업데이트 방정식을 수정:
     • 예: Pocket 알고리즘, Thermal Perceptron 등.
  2. 더 복잡한 네트워크를 사용:
     • 다층 퍼셉트론(Multi-layer Perceptron) 같은 비선형 모델로 확장.
  3. 비선형 변환을 통해 데이터 공간을 변경: (예: 커널 트릭)

     • 데이터를 고차원 피처 공간으로 변환하여 선형 분리가 가능하게 만듦.

       

       • 이렇게 하면 xor도 가능!

         

       • 고차원 피쳐스페이스의 문제점 (보통 차원을 더 늘림)

         1. 계산 문제 (Computational Problem)
            • 고차원 벡터를 직접 다루면 계산량이 급격히 증가합니다.
            • 해결 방법: 커널 트릭
              • 실제로 고차원으로 변환하지 않고, 내적 연산을 통해 암묵적으로 고차원 특성 공간에서의 계산을 수행합니다.
         2. 일반화 문제 (Generalization Problem)
            • 고차원으로 확장하면 데이터가 희소해지는 차원의 저주 문제 → 데이터도 더 많이 필요해짐
            • 해결 방법: 마진 최대화
              • 데이터를 분리하는 마진을 최대화하는 방법을 사용하여 일반화 성능을 높입니다.
              • SVM에서 처음 구현

테일러 급수

Gradient descent/ascent

Learning Linear Functions