Regression과 Classification이란 무엇인가?

0. 사전지식

\( \mathbb{E}[x] \) : expected of x

\( \mathbb{P}(y=\kappa) \) : y가 특정 class일 확률

\( \mathbb{R} \) : 실수(float)

 

0.1 모델 종류에 따른 f(x) 수식

Linear models

$$f(x) = \sum_{j=1}^{M}w_{j}\phi_{j}(x)+w_{0}$$

Neural networks

$$f(x) = \sum_{j=1}^{M}w_{j}\phi_{j}(\sum_{k}W_{j,k}^{(1)}x_{k}+b_{j}^{(1)})$$

Kernel regression

$$f(x) = \sum_{n=1}^{N}w_{n}k(x,x_{n})+w_{0}$$

 

Regression model

$$y=f(X) + \epsilon$$

1. Regression

N개의 데이터가 존재하고 있을떄(독립변수(x), 종속변수(y)가 포함되며 종속변수는 실수값)

$$Data = \{(x_{n},y_{n})\mid n=1,...,N\}$$

$$y_{n} \in \mathbb{R}$$

예측하고자 하는 것은 독립변수가 들어왔을때 기대되는 종속변수의 평균값

$$\mathbb{E}[y \mid x]$$

왜 종속변수의 평균값을 예측하는가?

• 현실 세계에서는 노이즈가 섞이기 때문에 동일한 독립변수에 대해서 항상 같은 종속변수가 나타나지 않는다.
• 또한 종속변수에 영향을 미치는 변수지만 미처 측정되지 못해서 독립변수에 존재하지 않을 수 있다.

1.1 OLS

데이터를 통채로 계산하여 수식을 얻어내는 Non-parametic 방법

1.2 

 

1-5 11/3 목 봐야함

2. Classification

N개의 데이터가 존재하고 있을떄(독립변수(x), 종속변수(y)가 포함되며 종속변수는 class값)

$$Data = \{(x_{n},y_{n})\mid n=1,...,N\}$$

$$y_{n} \in \{1,2,... ,k\}$$

예측하고자 하는 것은 독립변수가 들어왔을때 각 class일 확률

$$\mathbb{P}(y=\kappa \mid x) \ for \ \kappa=1,...,k$$