encoder
-
Tensorflow Variational AutoEncoder 개념 및 코드 예시(VAE, MNIST Dataset)Data Science/Tensorflow 2022. 11. 1. 10:38
1. VAE 개념 VAE는 일반 AutoEncoding과는 다르게 입력데이터(X)를 Lantent Representation(Z)로 압축하고 이를 사용하여 기존과 유사하나 새로운 데이터를 생성하는 것을 목표로 합니다. (기존 AutoEncoder는 입력데이터(X)를 유사하게 복구하는 것이 목표이다.) 이때 Latent Representation은 생성하고자하는 결과의 평균 및 분산을 담고있다고 가정한다. \(z \ \ \ \ \rightarrow \ \ \ \ x \) \(p\theta^{*}(z) \ \ \ \ \ \ p\theta^{*}(x|z^{(i)})\) \(p(z)\) : latent vector(Z)의 확률밀도함수, 가우시안분포를 따름 \(p(x|z)\) : Z로부터 어떠한 X가 나올 조건부..
-
AutoEncoder 개념 및 종류Data Science/ML&DL 모델 2022. 10. 31. 00:12
1. AutoEncoder(오토인코더) 개념 AutoEncoder는 입력된 데이터를 압축시킨 후 다시 원본과 유사하게 복구하는 모델이다. 크게 Encoder, Decoder, Latent Representation으로 이루어져있다. Encoder는 입력된 데이터를 Latent Representation으로 압축시킨다. 이때 Latent Representation의 dimension(차원)은 입력데이터보다 작다. Decoder는 Latent Representation으로 압축된 데이터를 다시 원본 데이터 사이즈로 복구한다. 이때 우리의 목적은 Dimensionality Reduction이다. 아래 그림을 통해서 더 자세히 설명한다. 28*28 이미지를 Flatten하여 784 길이의 벡터로 만들어 입력값으..
-
Transformer Model 개념 및 모델 구조Data Science/ML&DL 모델 2022. 10. 28. 00:20
1. 개요 1.1 기존 Sequence to Sequence Model의 한계 context vector에 입력 문장의 정보를 압축하여 병목현상 발생 및 성능하락이 야기됨. (하나의 context vector가 입력 문장의 모든 정보를 가지고 있어야함.) (Context Vector는 고정된 길이의 벡터) Decoder에서 매번 히든스테이트를 갱신해야함. sos : start of sentence eos : end of sentence 1.2 Attenstion 개념이 추가된 Sequence to Sequence Model RNN에서 매 입력에따라 나오는 히든스테이트 전체를 예측의 입력으로 넣어주기위한 Attention Vector 등장. (아직 Transformer가 아닙니다.) Attention Ve..