• 1. Dev summary
• 2. Data Collection and Processing
  • 2.1 Dataset
  • 2.2 Data pre-processing
  • 2.3 Data class
  • 2.4 Data augmentation method
• 3. Model
  • 3.1 Model Architecture
  • 3.2 Fine-tuning Hyperparameter
• 4. Train
  • 4.1 Training server environment
• 5. Test result
• 6. Problems and Solutions

1. Dev summary

2. Data Collection and Processing

2.1 Dataset

2.2 Data pre-processing

• 중복 문장 제거
  • 중복 문장 추출 후 분리하여 저장 -> 모델 1차 학습 후 autolabeling을 통해 class tagging
• 이모티콘 제거. 텍스트 자체만 학습 (특수기호는 제거 x)
• 데이터 라벨 불균형 완화를 위해 “중립”에 속하는 데이터 일부 제거

2.3 Data class

  {
  "부정":{"분노": ["분노", "억울함"],
          "싫음": ["싫음", "지루함", "미워함", "짜증남"],
          "두려움": ["두려움", "창피함", "불안", "당황"],
          "슬픔": ["슬픔", "미안함", "안타까움", "외로움", "실망", "괴로움", "부러움", "후회"]},
  "긍정":{"행복": ["행복", "그리움", "기쁨", "사랑", "황홀함", "감동", "즐거움", "홀가분함", "설렘", "만족", "자신감", "고마움"],
          "놀람": ["놀람"]},
  "중립":{"중립": ["중립", "바람", "무관심"]}
  }

2.4 Data augmentation method

• 1차 모델 학습 이후 autolabeling

3. Model

3.1 Model Architecture

• BERT
• Electra

3.2 Fine-tuning Hyperparameter

4. Train

4.1 Training server environment

• Quadro RTX 8000 x3
• Ubuntu 20.04

5. Test result

6. Problems and Solutions

• 데이터 라벨 불균형
  • “중립” 문장 일부 제거
  • 1차 학습 이후 web crawling 데이터 autolabeling 이후 부족한 라벨 보충 -> 예정