• Decision Tree
  • 비모수적 지도학습 방법
  • 결과를 예측할 때 Tree 구조 사용
  • 분류 트리, 회귀 트리

• Decision Tree의 타입

  • Classification Trees: 예측 결과가 범주형인 경우에 사용

  

  • Regression Trees: 예측 결과가 실수일 때 사용

  

• 좋은 트리를 생성하기 위해 어떤 질문을 해야할까?

  • 트리 생성(Train) → 트리 탐색 (Test)
  • 트리 생성: 트리를 만드는 과정
  • 좋은 트리를 만들기 위해 질문 순서도 중요함.
    • 질문을 할 때 가장 처음 질문해야 하는 것은? → 가장 분류를 잘하는 것!
  • 트리 탐색: 트리를 통해 추론하는 과정

• Impurity (불순도)

  • 분류를 잘 할수록 분류 결과의 불순도가 낮음.

    • 분류 결과가 극명하게 나뉘는 경우 → 분류를 잘함 → 분류 결과의 불순도가 낮음.

  • Gini impurity: 불순함의 정도를 측정

    

• Decision Tree의 장단점

  • 장점
    • 빠른 모델 구축 및 분류 속도
      • 트리를 이용하기 때문에 분류 속도가 빠름
    • 데이터 가공의 필요성이 적음
      • 처리할 수 있는 데이터의 종류가 다양해서 전처리 과정이 상대적으로 적음
    • 직관적인 모델 구축 원리
      • 예측 결과의 해석 및 이해가 쉬움
        • 트리 별 질문을 통해 예측 결과를 따라갈 수가 있음
  • 단점
    • 오버피팅
      • 새로운 데이터가 들어왔을 때 원래 학습했던 분포와 조금이라도 다르면 분류가 이상하게 될 수 있음
    • 약간의 데이터 차이로 트리 구조가 바뀔 수 있음
      • 트리 구조가 데이터 의존적임
    • 계층적 구조로 인한 에러 전파
      • 트리 구조 특성상 한 번 질문을 잘못하면 계속 오류를 전파할 수 있음

✏️ 소감

결정 트리는 직관적이고 쉽게 해석할 수 있어 처음 배울 때 매우 흥미로웠습니다. 하지만 과적합에 취약하고, 데이터의 작은 변화에도 민감해 트리 구조가 바뀔 수 있다는 단점을 알게 되었습니다. 이를 보완하기 위해 가지치기나 앙상블 기법이 중요하다는 점도 배웠습니다.