- Question Answering(QA)μ λ€μν μ’ λ₯μ μ§λ¬Έμ λν΄ λλ΅νλ μΈκ³΅μ§λ₯μ λ§λλ μ°κ΅¬ λΆμΌμ΄λ€. λ€μν QA μμ€ν μ€, Open-Domain Question Answering(ODQA)μ μ£Όμ΄μ§λ μ§λ¬Έμ΄ λ°λ‘ μ‘΄μ¬νμ§ μκ³ μ¬μ μ ꡬμΆλμ΄μλ Knowledge resource μμ μ§λ¬Έμ λλ΅ν μ μλ λ¬Έμλ₯Ό μ°Ύλ κ³Όμ μ΄ μΆκ°λλ€.
- λ³Έ ODQA λνμμ μ°λ¦¬κ° λ§λ€ λͺ¨λΈμ two-stageλ‘ κ΅¬μ±λμ΄ μλ€. 첫 λ¨κ³λ μ§λ¬Έμ κ΄λ ¨λ λ¬Έμλ₯Ό μ°Ύμμ£Όλ "retriever" λ¨κ³μ΄κ³ , λ€μμΌλ‘λ κ΄λ ¨λ λ¬Έμλ₯Ό μ½κ³ μ μ ν λ΅λ³μ μ°Ύκ±°λ λ§λ€μ΄μ£Όλ "reader" λ¨κ³μ΄λ€. λ κ°μ§ λ¨κ³λ₯Ό κ°κ° ꡬμ±νκ³ κ·Έκ²λ€μ μ μ ν ν΅ν©νκ² λλ©΄, μ΄λ €μ΄ μ§λ¬Έμ λμ Έλ λ΅λ³μ ν΄μ£Όλ ODQA μμ€ν μ λ§λλκ²μ΄ μ΄ νλ‘μ νΈμ λͺ©νμ΄λ€.
λ κ°μ§ νκ°μ§νκ° μλ€. EM κΈ°μ€μΌλ‘ 리λ보λ λ±μκ° λ°μλκ³ , F1μ μ°Έκ³ μ©μΌλ‘λ§ νμ©λλ€.
- Exact Match(EM)
- λͺ¨λΈμ μμΈ‘κ³Ό, μ€μ λ΅μ΄ μ ννκ² μΌμΉν λλ§ μ μκ° μ£Όμ΄μ§λ€. μ¦ λͺ¨λ μ§λ¬Έμ 0μ μλλ©΄ 1μ μΌλ‘ μ²λ¦¬λλ€.
- F1 Score
- EMκ³Ό λ€λ₯΄κ² λΆλΆ μ μλ₯Ό μ 곡νλ€. μλ₯Ό λ€μ΄, μ λ΅μ "Barack Obama"μ§λ§ μμΈ‘μ΄ "Obama"μΌ λ, EMμ κ²½μ° 0μ μ λ°κ² μ§λ§ F1 Scoreλ κ²ΉμΉλ λ¨μ΄λ μλ κ²μ κ³ λ €ν΄ λΆλΆ μ μλ₯Ό λ°μ μ μλ€.
κΉλ―ΌνΈ | κΉμ±μ | κΉμ§ν | μκ°μ | νμν |
- κΉλ―ΌνΈ : νλ‘μ νΈ λ¦¬ν©ν λ§, ν΅μ¬ λ¬Έμ₯ κ°μ‘°, Curriculum learning
- κΉμ±μ : BM25 retriever, Elasticsearch, λ°μ΄ν° μ μ²λ¦¬
- κΉμ§ν : Custom model for question answering, Self-distillation, Ensemble
- μκ°μ : λͺ¨λΈ & topk λ³κ²½ μ€ν, μΆκ° λ°μ΄ν° fine tuning, balanced sampling
- νμν : TF-IDF retriever, DPR ꡬν, post-processing
- Train data : 3952
- Feature: 'title', 'context', 'question', 'id', 'answers', 'document_id'
- Trainκ³Ό validation λͺ¨λ μ μ¬ν λΆν¬μ context κΈΈμ΄λ₯Ό κ°λλ€.
- Wiki data μ μ²λ¦¬
- Top-k λ³κ²½
- TF-IDF
- μ체 ν ν¬λμ΄μ§
- BM25
- ElasticSearch
- DPR(Dense Passage Retrieval)
- klue/roberta-large μ¬μ©
- ν΅μ¬ λ¬Έμ₯ κ°μ‘°
- Custom model
- LSTM
- Bi-LSTM
- SDS-CNN & MLP
- μΆκ° λ°μ΄ν°μ
μ νμ©ν μ μ΄νμ΅
- KorQuAD 1.0
- KorQuAD 2.0
- κΈ°κ³λ ν΄ λ°μ΄ν°μ
- λ΄μ€κΈ°μ¬ κΈ°κ³λ ν΄ λ°μ΄ν°μ
- μΌλ°μμ λ°μ΄ν°μ
- Balanced sampling
- Curriculum learning
- Hard voting
- Soft voting
- K-fold
- Self-distillation
- Post-processing
[https://docs.google.com/document/d/1ukhlsVAO_0NFwtCzAOifblNhNOXxd0g7n4raSZT-bck/edit?usp=sharing]