목록DL (41)
rueki
1단계 : 상자로서의 변수 변수 : 물건을 담는 상자역할로 데이터를 저장하는 공간의 이름으로 볼 수 있음 import numpy as np class Variable: def __init__(self,data): self.data = data data = np.array(1.0) x = Variable(data) print(x.data) # 1.0 variable 이라는 class 생성 인스턴스 변수 data는 물건과 같으며 Variable Class는 상자와 같다. 위에서 x는 데이터를 담는 상자 역할을 한다. 2단계 : 변수를 낳는 함수 함수 : 어떤 변수로부터 다른 변수로의 대응관계를 정한 것 class Function: def __call__(self, input): x = input.data y..
14년에 이안 굿펠로우가 처음 제안한 개념으로써 한글로 흔히 생성 및 적대적 모델이라고 얘기를 한다. 여기서는 크게 두 가지 모델을 제시하는데 Generative model과 Discriminator model 이다. 생성 모델과 판별모델인데 이는 아래의 그림으로 설명을 하고자 한다. 논문에서는 경찰과 위조 지폐범으로 개념을 소개하였다. 지폐 위조범은 지폐를 위조해서 세상에 내놓으려고 하는데, 지폐위조범에게 가장 좋은 상황은 무엇일까? 이는 실제 지폐와 위조지폐가 사람들이 구분을 못하는 것이다. 즉 실제 data와 유사한 data를 생성하는 것이 Generator의 목적인 것이다. 이는 역전파가 성능에 큰 역할을 하였다고 한다. 경찰은 여기서 지폐를 판별하는 Discriminator의 역할을 하는데 얘의..
Attention의 등장은 Seq2Seq의 문제점을 해결하려고 나온 것으로 볼 수가 있는데, 먼저 Seq2Seq(Sequence to Sequence) 구조를 알아보자. Seq2Seq은 크게 Encoder와 Decoder의 구조를 가지는데 이 구조는 RNN의 구조로 구성을 한 것이다. 인코더의 Input으로 영어문장을 넣으면 디코더에서 번역을 한 다른 언어의 문장이 나오는 예시인데, 인코더에 넣은 영어 문장의 정보들을 하나의 context vector로 만들어서 디코더에 전달을 하게 된다. 그러나 여기서의 문제점은 문장의 길이가 점점 길어지면 어떻게 될 것인가라는 점이다. T가 위의 예시로는 4이지만 이것이 100이되고, 1000, 10000이 된다면? 전체의 문장을 하나의 context vector(고..
minimize f(x) -> 목적함수가 최소가 되는 x 값을 찾기! 딥러닝에서 최적화 알고리즘은 미분 사용 딥러닝에서 최적화 process 및 최적화 목적 : 학습을 통해 손실함수가 최소가 되게하는 파라메터를 구하자 Gradient Descent DL/ML을 공부하면서 제일 처음으로 항상 등장하는 개념 머신러닝에서는 theta θ 를 갖는 목적함수 J(θ) 를 최소화 하는 것을 목표로 하고, 딥러닝에서는 loss function의 loss를 최소화로 하는 파라메터 θ를 찾는 것이 목표였다. alpha는 알다시피 learning rate를 나타내며, 얼마나 update를 할 지에 대한 정도라고 볼 수 있다. lr이 작으면 수렴하는 속도가 감소하며, 반대로 큰 값을 가질 수록 minimum을 지나치거나 발..