https://www.notion.so/58faa12248004b5d9fa6f5b4a84dd7e4?pvs=4

데이터 전처리

1. 중복처리

• 중복된 열 24개 존재 ⇒ 제거
• 동일한 기사인데 카테고리가 다른 기사 1개 존재 ⇒ 하나 제거

⇒ 총 데이터 1575개

2. 정규화

• 기사 내 한자 필요성 여부 확인

  

  ⇒ 랜덤으로 셔플한 후 10개의 기사를 뽑아봄

  ex) 가정사 파헤치는 언론에 英왕실 속앓이 → 기사 내 영국 단어 다수 존재

  ex) 北, 일방적 취소에도 “북한 잘한다” → 한자 없어도 이상 X

  • 기사 내 영어 필요성도 한자와 동일하게 확인

  ex) 충남 천안서 SUV 차량끼리 충돌4명 → 영어 없어도 이상 X

  ex) 미국 지질조사국 USGS에 따르면.. → 미국 지질조사국 = USGS임. 필요 없다고 판단

  • 한글 자음, 모음, 공백, 숫자 외에 \t, \n, \xao 등의 특수문자, 한자, 영어 제거
  • “000 기자” 제거

  3. 불용어

  • 신문사 이름

  

  • 신문사 이름 제거

    

    • 불용어 제거

      

• 명사, 동사, 형용사 형태소 분석

서포트 벡터머신(support vector machine, SVM)

• 기계학습 분야 중 하나로 패턴 인식, 자료 분석을 위한 지도학습 모델
• 주어진 데이터 점들이 클래스 안에 속해 있다고 가정했을 때, 새로운 데이터 점이 클래스 중 어느 곳에 속하는지 결정하는 것
• 클래스 사이의 경계에 위치한 데이터 포인트를 서포트 벡터(support vector) 라고 함. 이 결정 경계는 서포트 벡터인 데이터 포인트들에 의해 결정되며, 이들 서포트 벡터와의 거리가 최대가 되는 경계를 찾는 것이 목표

1. Countvectorizer ⇒ 0.8095
2. TfidVectorizer ⇒ 0.8444