의사결정나무 분류/회귀(Decision Tree)

1. 의사결정나무란?

특정 컬럼의 값을 기준으로 데이터를 분류하여 예측을 수행하는 분석 방법.

생성된 의사결정 규칙이 나무 구조와 같이 생겼다.

노드의 조건에 따라서 계속 분기하며 최종적으로 Leaf Node에 도달하면 해당 값을 결과로 가진다.
(아래 그림에서 노란 사각형이 Intermediate Node이며, 파란 사각형이 Leaf Node이다.)

의사결정을 시각적으로 확인할 수 있어 해석에 용이하다.

"TaxInc" 컬럼의 값이 80보다 작다 등의 분기조건을 걸기때문에(아래 그림 참조), 데이터 전처리구간에서 스케일링(Scaling)이 필요없다.

가장 중요한 Feature는 상위 레벨에서의 분류 노드로 사용된 Feature이다.

 

2. 분류 의사결정나무(Classification Decisiontree)

2.1 불순도

 

2.2 데이터 준비

from sklearn import datasets

iris = datasets.load_iris()

X = iris.data
y = iris.target

2.3 모델 생성 및 학습

from sklearn.tree import DecisionTreeClassifier

tree = DecisionTreeClassifier()

tree.fit(X, y)