[CS231n] lecture 2. Linear Classification: SVM, Softmax 강의 요약
포스팅을 시작하기에 앞서 수준 높은 강의와 강의 자료를 무료로 배포해주신 Stanford University CS231n 교수진께 감사의 말씀을 드립니다. 온라인 강의: https://www.youtube.com/watch?v=vT1JzLTH4G4&list=PLC1qU-LWwrF64f4QKQT-Vg5Wr4qEE1Zxk 강의 자료: https://cs231n.github.io K-Nearest Neighbor 의 단점 1. 모든 training data 를 항상 저장해야 한다 . 2. Predict 를 수행할 때 모든 데이터와 비교 연산을 해야 한다 . > 컴퓨터의 자원을 너무 비효율적으로 사용 이를 해결하기 위해 training 후 도출된 함수를 이용하여 즉각적으로 input 에 따른 output 을 반환하는 알고리즘을 설계하고자 하는 필요성이 생김 . Linear Classification 먼저 가장 간단한 함수 형태인 일차식 형태로 문제를 해결 . f ( x i , W , b ) = W x i + b CIFAR-10 데이터에 따라 W 와 b 의 차원을 추적해보고자 합니다 . 먼저 결과값은 각 클래스에 대한 점수로 나타내는 것이 가장 직관적인 방법이겠죠 ? 이 중에서 가장 높은 점수를 가지는 객체가 결과값으로 반환이 될 것입니다 . 즉 결과값은 10*1 벡터 . Xi 는 하나의 이미지 데이터를 상징한다고 했을 때 32*32*3=3072*1 벡터입니다 . W*xi 를 통해 10*1 벡터를 만들어야 하므로 W 는 10*3072 벡터입니다 . b 는 10*1 벡터 F: R D ->R k (D: 데이터의 모든 정보 , k: 데이터 레이블의 가지 수 ) W: k*D 행렬 , xi: D*1 행렬 , b: K*1 행렬 (W: weight vector, ...