self-deep learning

포스팅을 시작하기에 앞서 수준 높은 강의와 강의 자료를 무료로 배포해주신 Stanford University CS231n 교수진께 감사의 말씀을 드립니다.  온라인 강의: https://www.youtube.com/watch?v=vT1JzLTH4G4&list=PLC1qU-LWwrF64f4QKQT-Vg5Wr4qEE1Zxk  강의 자료: https://cs231n.github.io   * 블로그 작성자 github 주소: https://github.com/withAnewWorld/JamesHanamura Assignment 구조 작성되어 있는 부분(파란색), 과제로 주어진 부분(빨간색)     - Load the preprocessed data     - fully connected network          - init(W, b)          - Loss(soft max)          - Gradient(backpropagation)     - Debugging strategy(Gradient check, relative error, visualize)               - Update rules           - SGD                     - SGD + Momentum          - RMS prop          - Adam     - Debugging s...

포스팅을 시작하기에 앞서 수준 높은 강의와 강의 자료를 무료로 배포해주신 Stanford University CS231n 교수진께 감사의 말씀을 드립니다.  온라인 강의: https://www.youtube.com/watch?v=vT1JzLTH4G4&list=PLC1qU-LWwrF64f4QKQT-Vg5Wr4qEE1Zxk  강의 자료: https://cs231n.github.io   * 블로그 작성자 github 주소: https://github.com/withAnewWorld/JamesHanamura 서론 이전까지의 과제에서 Image data로 모두 RGB 데이터를 이용했습니다. 하지만 사진 이미지를 분류할 때에 RGB 데이터뿐 아니라 Image의 edge, texture 등 다양한 정보를 이용할수록 컴퓨터가 더 잘 학습을 할 것이라고 기대할 수 있습니다.  Assignment 구조 작성되어 있는 부분(파란색), 과제로 주어진 부분(빨간색)     - Load data     - PreProcessing(Extract Features)     - linear classifier(svm)          - Cross Validation          - Test image 예측     - Two Layer Network           - Cross Validation          - Test image 예측 Linear Classifier(svm) 기존 과제들과 같이 Cross Validation을 통해 가장 좋은 예측을 보일 것으로 기대되는 hyper parameters를 선택해 주시면 됩니다. 이 때 random.uniform 함수와 반복문...

포스팅을 시작하기에 앞서 수준 높은 강의와 강의 자료를 무료로 배포해주신 Stanford University CS231n 교수진께 감사의 말씀을 드립니다.  온라인 강의: https://www.youtube.com/watch?v=vT1JzLTH4G4&list=PLC1qU-LWwrF64f4QKQT-Vg5Wr4qEE1Zxk  강의 자료: https://cs231n.github.io * 블로그 작성자 github 주소: https://github.com/withAnewWorld/JamesHanamura Fully connected layer 구조 input -> hidden layers(activation function cf) relu, sigmoid 등) -> loss function(svm, softmax 등) Assignment 구조 작성되어 있는 부분(파란색), 과제로 주어진 부분(빨간색)     - 데이터 불러오기     - 상대 오차 함수     - layers          - affine_forward & backward          - relu_forward & backward         - svm_loss         - softmax_loss     - Debugging strategy(gradient check, relative error)          cf) layer_utils(max(0, wx+b) forward & backward) - 자동화     - fc_net         - w1, b1,...

포스팅을 시작하기에 앞서 수준 높은 강의와 강의 자료를 무료로 배포해주신 Stanford University CS231n 교수진께 감사의 말씀을 드립니다.  온라인 강의: https://www.youtube.com/watch?v=vT1JzLTH4G4&list=PLC1qU-LWwrF64f4QKQT-Vg5Wr4qEE1Zxk  강의 자료: https://cs231n.github.io * 블로그 작성자 github 주소: https://github.com/withAnewWorld/JamesHanamura 이번 과제는 기본적으로 전에 포스팅한 SVM 과제와 유사하므로 코드 작성부분에 대해서만 올리겠습니다. Softmax_loss_naive     1. loss     1) scores[i, :] = X[i, :].dot(W)     2) scores -= max(scores)  (Softmax는 x.dot(W)의 결과가 지수로 올라가므로 컴퓨터가 처리하기에 너무 큰 수입니다. 이를 해결하기 위해 가장 큰 수를 빼주는 작업이 필요합니다.)     3) exp(scores)     4) loss += -log( scores[y[i]] / sum(scores) )     5) loss /= num_train         loss += reg*sum(W^2)     2. dW softmax_loss_vectorized     1. loss          1) scores = X.dot(W)     2) scores의 각 행 중 최대값을 행 별로 뺀다.     3) exp(scores)     4) 분자: 각 행에 따른 scores y[i]열...

포스팅을 시작하기에 앞서 수준 높은 강의와 강의 자료를 무료로 배포해주신 Stanford University CS231n 교수진께 감사의 말씀을 드립니다.  온라인 강의: https://www.youtube.com/watch?v=vT1JzLTH4G4&list=PLC1qU-LWwrF64f4QKQT-Vg5Wr4qEE1Zxk  강의 자료: https://cs231n.github.io * 블로그 작성자 github 주소: https://github.com/withAnewWorld/JamesHanamura Assignment 구조 작성되어 있는 부분(파란색), 과제로 주어진 부분(빨간색)     - 데이터 전처리     - SVM Classifier          - svm_loss_naive          - svm_loss_vectorized     - Gradient Check(Debugging strategy)          - naive 코드와 vectorized 코드 시간 비교     - Linear Classifier          - train          - predict     - Loss Function 시각화(Debugging strategy)     - Cross Validation(learning rate, regularization)     - Test image 예측     - 시각화 svm_loss_naive dW는 loss function을 W로 미분한 결과를 담은 vector입니다. svm_loss_vectorized   ...