siida36 / nlp-survey Goto Github PK

Paper

https://www.aclweb.org/anthology/U09-1013/

Summary

ドメイン固有の用語は、多くの自然言語処理タスクやアプリケーションに重要な意味情報を提供するが、キーフレーズ抽出の分野ではまだほとんど手つかずの資源である。

本論文では、用語頻度と逆文書頻度を用いて、 Reuters document collection からドメイン固有の用語を抽出する教師なしの手法を提案する。

Comment

TFスコア算出時に、ドメイン単位で頻度を計算する点が通常のTFIDFと異なる。

Paper

https://www.aclweb.org/anthology/2020.emnlp-main.394/

Summary

自然言語処理の分野では、事前学習済み言語モデルが広く利用されている。このようなモデルは、汎用的なデータ（BookCorpus や英語版 Wikipedia など）で事前学習され、同じドメインのタスクで Fine-tuning されることが多い。しかし、医療分野における固有表現抽出や関係性抽出など、ドメイン外のタスクで最先端の性能を発揮するためには、ドメイン内での事前学習を追加する必要がある。しかし実際には、段階的に Multi-domain の事前学習を行うと、GLUEなどの汎用的なベンチマークで評価した場合、 Catastrophic Forgetting という形で性能が低下する。

そこで本論文では、 Catastrophic Forgetting を軽減するための既知の手法を実証的に調査した。その結果、 Elastic Weight Consolidation は、bio-medical タスクでは競争力を維持しつつ七種類の一般的なタスクで0.33%の精度低下に抑えており、 総合的に最良のスコアを得た。さらに、 Elastic Weight Consolidation と Experience Replay を用いた場合のカバレッジを向上させるために、勾配と潜在的クラスタリングに基づくデータ選択技術を検討した。

Comment

Paper

https://www.aclweb.org/anthology/2020.emnlp-main.250/

Summary

タスクに特化した学習セットを用いて事前学習済みモデルを Fine-tuning することは、様々なNLPタスクにおいて有効である。しかし、事前学習済みモデルから直接パラメータを初期化しているため、異なるドメインの類似したNLPタスクの学習プロセスがどのように相関し、相互に強化されているかを無視している。

本論文では、 Meta Fine-tuning（MFT）と呼ばれる効果的な学習方法を提案している。MFT は、すべてのデータセットに対して単純にマルチタスク学習を行うのではなく、様々なドメインの典型的なインスタンスからのみ学習を行うことで、伝達性の高い知識を獲得する。さらに、 domain corruption loss function を最適化することで、言語モデルがドメインに依存しない表現をエンコードするように促す。 MFT によってモデルはより優れたパラメータの初期化が行われ、また高い汎化能力を持つようになり、各ドメインに合わせて Fine-tuning することが可能となる。

いくつかの Multi-domain text mining タスクを解決するため、 BERT に MFT を実装して実験を行ったところ、 MFT の有効性と few-shot learning の有用性が確認された。

Comment

BERT と比較したとき、 MLNI において数%の精度改善が確認された。
Multi-domain text mining の先行研究について触れられていない点が残念なところ。

Paper

https://arxiv.org/pdf/2004.13639.pdf

Summary

効果的なキーフレーズ抽出システムでは、ドキュメントのトピックの鍵となる自己完結型の高品質なフレーズを生成する必要がある。そこで本論文では、キーフレーズ抽出のためのマルチタスクBERTベースのモデルであるBERT-JointKPEを紹介する。

JointKPEは、高品質なフレーズを識別するための chunking network と ranking network を用いて、文書内の重要度を学習する。このモデルは、 chunking task と ranking task の両方で学習されており、キーフレーズの品質とランキングの推定のバランスをとっている。

OpenKP と KP20K を用いた実験を実施したところ、JointKPEは様々な事前学習済みモデルに対してロバストであることが明らかとなった。さらに分析の結果、JointKPEは長いキーフレーズの抽出において有効であり、さらにエンティティではなく、意味のあるフレーズを抽出すると考えられる。

Comment

Paper

https://www.aclweb.org/anthology/2020.acl-main.689

Summary

機械翻訳におけるデータ選択に関する研究の多くは、 single-domain の改善に焦点を当てている。

そこで本研究では、 multi-domain のデータ選択を一度に行う。これはインスタンスレベルの domain-relevance features を導入し、 multi-domain に関連してノイズの少ないバッチに少しずつ焦点を当てて学習する training curriculum を自動的に構築することで実現している。Domain-relevance features と training curriculum の双方が、ドメイン外を含む全ドメインを満遍なく改善するために重要である。

提案法の精度を確認するための実験では、 multi-domain の training curriculum は従来法以上の結果となり、 training curriculum なしの訓練を行ったモデルの精度を上回った。

Comment

Multi-domain NMT に関する先行研究に言及してくれている。あと、 Single-domain に特化すると他のドメインに悪影響がある、と明言している論文を探していたので、次の一文が個人的に嬉しい。

For example, improving the translation accuracy of one domain will often hurt that of another and improving model generalization across all domains by clean-data selection may not promise optimization of a particular domain.