목차 Optimization 어떤 objective function(대상이 되는 함수)의 함숫값을 최적화(최대/최소화)시키는 parameter조합을 찾는 문제 최대화 : 소요시간,비용인 경우 / 최소화 : 성능,이윤인 경우 Output이 목표로 하는 타겟값과 가까워지도록 loss function을 설정하고 error가 줄어드는 방향으로 학습시키기위해 1) 각 weight와 gradient값을 계산 2) 앞의 값들을 이용해 weight를 다시 설정 1),2)를 반복하며 최적의 weight값을 갖는 모델을 찾아내는 과정 Optimizer Loss의 최솟값을 찾아가는 알고리즘 - 학습속도를 빠르고 안정적이게 하는 것이 목표 Optimizer 종류 1. Gradient Descent (경사하강법) 가장 기본적이..

Keras Tensorflow위에서 동작하는 라이브러리 -> 사용자 친화적으로 개발되어 사용이 편해 필요함 간단한 신경망의 경우 몇줄만으로 만들 수 있음 사용자가 Tensorflow를 좀 더 쉽고 편하게 사용할 수 있게 해주는 high level API를 제공 Tensorflow 구글에서 만든 딥러닝 프로그램을 쉽게 구현할 수 있도록 다양한 기능을 제공해주는 라이브러리 TensorBoard (브라우저에서 실행가능한 시각화 도구)를 제공 -> 딥러닝 학습 과정 추적하는데 유용 Tensor형태의 data들이 모델을 구성하는 연산들의 그래프를 따라 흐르면서 연산이 일어남 (Flow) Keras사용보다 훨씬 더 디테일한 조작이 가능 Tensor 데이터의 배열 배열의 집합 array와 matrix와 매우 유사한 ..

Pytorch 파이썬에서 제공되는 딥러닝 네트워크 tensorflow와 같이 많은 사람들이 사용하는 딥러닝 프레임워크 Numpy vs Pytorch 딥러닝에서 numpy만을 사용한다면, backpropagation에서 모든 미분식을 직접 계산하고 코드로 작성해야함. 반면 Pytorch 사용시 backward() 함수 호출 시 자동으로 계산 GPU틑 통한 연산 가능 여부 Numpy의 경우 GPU로 값들을 보내 연산을 돌리고 다시 받는 것이 불가능 Pytorch의 경우 내부적으로 CUDA를 통해 GPU 사용가능 -> 연산빠름 * CUDA - 엔비디아가 개발한 GPU를 통한 연산을 가능하게 만든 API 모델 Tensorflow vs Pytorch 공통점 둘 다 연산에 GPU이용하는 프레임 워크 차이점 tens..

Modules of Classifier Feature Extrator => Convolution Layer + Pooling Layer → output = Feature vector Classifier => Dense Layer → output = Class Scores Feature를 뽑아내는 이유 input의 image를 classifier로 바로 넣어 분류하기 어려움 (성능 ↓) → Feature를 만들기 시작 Shapes in the Classifier 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 from tensorflow.keras.layers import Dense n_neurons = [50, 25, 10]..

Pooling Pooling은 sub sampling이라고 함 image data를 작은size의 image로 줄이는 과정 pooling을 사용하는 이유 앞선 layer들을 거친 output의 모든 data가 필요하지 않기 때문 → 즉, 추론을 하는데 있어 적당량의 data만 있어도 되기 때문 pooling의 특징 학습변수가 없다. (ex. weight, bias) pooling의 output은 channel수에 영향 없다. Max Pooling 최댓값을 뽑아내는 pooling의 한 종류 $\phi =\max \left( W\right) $ 1D Max Pooling 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 import numpy as np i..