Sample
-
강화학습 Q-Learning 예제 손으로 풀어보기Data Science 2022. 12. 16. 16:58
1. 정보 문제를 풀기 위해서 먼저 주어지는 정보는 아래와 같다. 우측의 Q table은 주어진 정보를 기반으로 만들어졌다. Q-Learning에서 Q value update에 사용되는 수식은 아래와 같다. 2. First Episode 계산해보기 먼저 주어진 episode는 아래와 같다. 이때 표에서의 S0의 의미는 time stemp 0을 의미하며, 이후 작성되는 계산식에서의 s0는 state 0을 의미하니 주의하자. 위의 episode를 MDP로 나타내면 아래와 같다. 이후 진행되는 Q value의 update는 episode에 제공된 순서대로 진행된다. 2.1 step 1 2.2 step 2 2. Second Episode 계산해보기 추가적으로 주어지는 episode는 아래와 같다. 주어진 epi..
-
Pytorch Lightning 사용가이드 및 코드 예시(Scene Classification Dataset)Data Science/Pytorch 2022. 11. 17. 02:24
1. Pytorch Lightning이란? Tensorflow의 Keras와 같이 Pytorch를 위한 라이브러리이다. pytorch lightning의 전반적 동작 구조는 아래와 같다. 2. 라이브러리 준비 from glob import glob import torch import torch.utils.data as data from torchvision import transforms import PIL from torchvision.datasets import ImageFolder from torchvision.models import resnet18 from torch.optim import Adam from torch.nn import functional, CrossEntropyLoss from..
-
Tensorflow Variational AutoEncoder 개념 및 코드 예시(VAE, MNIST Dataset)Data Science/Tensorflow 2022. 11. 1. 10:38
1. VAE 개념 VAE는 일반 AutoEncoding과는 다르게 입력데이터(X)를 Lantent Representation(Z)로 압축하고 이를 사용하여 기존과 유사하나 새로운 데이터를 생성하는 것을 목표로 합니다. (기존 AutoEncoder는 입력데이터(X)를 유사하게 복구하는 것이 목표이다.) 이때 Latent Representation은 생성하고자하는 결과의 평균 및 분산을 담고있다고 가정한다. \(z \ \ \ \ \rightarrow \ \ \ \ x \) \(p\theta^{*}(z) \ \ \ \ \ \ p\theta^{*}(x|z^{(i)})\) \(p(z)\) : latent vector(Z)의 확률밀도함수, 가우시안분포를 따름 \(p(x|z)\) : Z로부터 어떠한 X가 나올 조건부..