Regression과 Classification이란 무엇인가?
0. 사전지식
\( \mathbb{E}[x] \) : expected of x
\( \mathbb{P}(y=\kappa) \) : y가 특정 class일 확률
\( \mathbb{R} \) : 실수(float)
0.1 모델 종류에 따른 f(x) 수식
Linear models
$$f(x) = \sum_{j=1}^{M}w_{j}\phi_{j}(x)+w_{0}$$
Neural networks
$$f(x) = \sum_{j=1}^{M}w_{j}\phi_{j}(\sum_{k}W_{j,k}^{(1)}x_{k}+b_{j}^{(1)})$$
Kernel regression
$$f(x) = \sum_{n=1}^{N}w_{n}k(x,x_{n})+w_{0}$$
Regression model
$$y=f(X) + \epsilon$$
1. Regression
N개의 데이터가 존재하고 있을떄(독립변수(x), 종속변수(y)가 포함되며 종속변수는 실수값)
$$Data = \{(x_{n},y_{n})\mid n=1,...,N\}$$
$$y_{n} \in \mathbb{R}$$
예측하고자 하는 것은 독립변수가 들어왔을때 기대되는 종속변수의 평균값
$$\mathbb{E}[y \mid x]$$
왜 종속변수의 평균값을 예측하는가?
- 현실 세계에서는 노이즈가 섞이기 때문에 동일한 독립변수에 대해서 항상 같은 종속변수가 나타나지 않는다.
- 또한 종속변수에 영향을 미치는 변수지만 미처 측정되지 못해서 독립변수에 존재하지 않을 수 있다.
1.1 OLS
데이터를 통채로 계산하여 수식을 얻어내는 Non-parametic 방법
1.2
1-5 11/3 목 봐야함
2. Classification
N개의 데이터가 존재하고 있을떄(독립변수(x), 종속변수(y)가 포함되며 종속변수는 class값)
$$Data = \{(x_{n},y_{n})\mid n=1,...,N\}$$
$$y_{n} \in \{1,2,... ,k\}$$
예측하고자 하는 것은 독립변수가 들어왔을때 각 class일 확률
$$\mathbb{P}(y=\kappa \mid x) \ for \ \kappa=1,...,k$$