• 1. Dev summary
• 2. Data Collection and Processing
  • 2.1 Dataset
  • 2.2 Data pre-processing
  • 2.3 Data class
• 3. Model
  • 3.1 Model Architecture
  • 3.2 Fine-tuning Hyperparameter
• 4. Train
  • 4.1 Training server environment
• 5. Test result
• 6. Problems and Solutions

1. Dev summary

2. Data Collection and Processing

2.1 Dataset

2.2 Data pre-processing

• 중복 문장 제거
  • 중복 문장 추출 후 분리하여 저장 -> 모델 1차 학습 후 autolabeling을 통해 class tagging
  • 데이터 라벨 불균형 완화를 위해 수량이 적은 라벨 데이터 제외(1500건 이하 데이터 제외)
• BIO-tagging
  • NER 학습 시 필요한 BIO tag 부착.

    BIO-tag: token classification task와 같이 다수의 token이 하나의 개체임을 표시하기 위해 일반적으로 사용되는 tag
    B(begin tag): 개체의 시작과 개체명 정보를 포함
    I(inside tag): 개체 시작 이후 끝까지 개체 내부를 표시
    O(outside tag): 개체외부 표

2.3 Data class

  [사람, 수, 음식, 직업/직책, 제작물/작품, 조직/기관, 시설물/건물, 국가명, 행정구역, 학문/이론, IT 용어, 제품, 동물 신체, 날짜, 
  질병/증상/증세, 모양 및 형태 표현, 세포/조직/기관, 동물 종류, 음료, 교통수단, 기간, 패션의류/잡화, 자연, 천체명칭, 기후/날씨, 식물, 스포츠, 
  계절, 언어, 문화/문명, 사건, 화폐(통화), 약]

3. Model

3.1 Model Architecture

• BERT
• Electra

위 classification model의 활성화 함수 결과를 CRF layer에 입력하여 가장 높은 확률을 가진 개체 sequence를 반환한다.
CRF layer 추가: BERT 계열의 모델의 경우, sequence tag 추론 시 token간의 관계를 독립적으로 예측하는 경향이 있어 label간의 종속성을 명시적으로 모델링하기 위해 CRF layer 추가. 즉, label 간의 의존성을 고려한 결과를 반환 받기 위해 CRF layer를 추가.
BiLSTM layer 추가: BERT 계열의 모델이 문맥 파악에 강점을 가지고 있지만 BiLSTM layer를 추가함으로써 문장 길이가 길어지거나 문장 구조의 복잡도가 증가했을 때 문맥 정보 파악 능력을 강화할 수 있다.

3.2 Fine-tuning Hyperparameter

4. Train

4.1 Training server environment

• Quadro RTX 8000 x3
• Ubuntu 20.04

5. Test result

6. Problems and Solutions

• 데이터 라벨 불균형
  • 적은 라벨 데이터 제외