# data (51.2 MB)
tar -xzf data.tar.gz

git clone https://github.com/boostcampaitech2/mrc-level2-nlp-13.git

# curl 설치
apt-get install curl #7.58.0

# poetry 설치
curl -sSL https://raw.githubusercontent.com/python-poetry/poetry/master/get-poetry.py | python

# poetry 탭완성 활성화
~/.bashrc를 수정하여 poetry를 shell에서 사용 할 수 있도록 가상환경에 추가
poetry use [사용하는 가상환경의 `python path` | 가상환경이 실행중이라면 `python`]  

# repo download 후 버전 적용 (poetry.toml에 따라 적용)
poetry install

mrc-level2-nlp-13
├── configs
│   └── example.json
├── model
│   ├── Reader
│   │   ├── RobertaCnn.py
│   │   └── trainer_qa.py
│   └── Retrieval
│       └── retrieval.py
├── inference.py
├── notebook
│   └── post_preprocessing.ipynb
├── ensemble
│   └── hard_vote.ipynb
├── augmentation
│   └── quesiton_generate.py
├── images
│   └── dataset.png
├── poetry.lock
├── pyproject.toml
├── readme.md
├── License.md
├── dense_retrieval_train.py
├── train_reader.py
└── utils
    ├── arguments.py
    ├── dense_utils
    │   ├── retrieval_dataset.py
    │   └── utils.py
    ├── logger.py
    └── utils_qa.py

# train_reader.py
def prepare_train_features(examples):
        # truncation과 padding(length가 짧을때만)을 통해 toknization을 진행하며, stride를 이용하여 overflow를 유지합니다.
        # 각 example들은 이전의 context와 조금씩 겹치게됩니다.
        tokenized_examples = tokenizer(
            ... ...
            #return_token_type_ids=False, # roberta모델을 사용할 경우 False, bert를 사용할 경우 True로 표기해야합니다.
            padding="max_length" if data_args.pad_to_max_length else False,
        )

# train_reader argparser
-c, --config_file_path : train config 정보가 들어있는 json file의 이름
-l ,--log_file_path : train logging을 할 파일 이름
-n ,--model_name : 모델이 저장될 디렉토리 이름
--do_train : Reader모델 train flag
--do_eval : Reader모델 validation flag

python train_reader.py -c ./configs/exp1.json -l exp1.log -n experiments1 --do_train

python train_reader.py -c ./configs/dense_exp1.json -l dense_exp1.log -n dense_experiment1 --do_train

# mrc 모델 평가 (train/validation 사용)
python train_reader.py -c ./configs/exp1.json -l exp1.log -n experiments1 --do_train --do_eval

# ODQA 실행 (test_dataset 사용)
# wandb 가 로그인 되어있다면 자동으로 결과가 wandb 에 저장됩니다. 아니면 단순히 출력됩니다
# inference argparser
-c, --config_file_path : inference config 정보가 들어있는 json file의 이름
-l ,--log_file_path : inference logging을 할 파일 이름
-n ,--inference_name : inference 결과가 저장될 디렉토리 이름
-m , --model_name_or_path : inference에 사용할 모델 디렉토리의 이름

python inference.py -c infer1.json -l infer1.log --n infer1_result -m ./tuned_models/train_dataset/ --do_predict