nlp-survey's People
nlp-survey's Issues
An Unsupervised Approach to Domain-Specific Term Extraction [Kim et al., ALTA-2009]
Paper
https://www.aclweb.org/anthology/U09-1013/
Summary
ドメイン固有の用語は、多くの自然言語処理タスクやアプリケーションに重要な意味情報を提供するが、キーフレーズ抽出の分野ではまだほとんど手つかずの資源である。
本論文では、用語頻度と逆文書頻度を用いて、 Reuters document collection からドメイン固有の用語を抽出する教師なしの手法を提案する。
Comment
TFスコア算出時に、ドメイン単位で頻度を計算する点が通常のTFIDFと異なる。
An Empirical Investigation Towards Efficient Multi-Domain Language Model Pre-training [Arumae et al., EMNLP-2020]
Paper
https://www.aclweb.org/anthology/2020.emnlp-main.394/
Summary
自然言語処理の分野では、事前学習済み言語モデルが広く利用されている。このようなモデルは、汎用的なデータ(BookCorpus や英語版 Wikipedia など)で事前学習され、同じドメインのタスクで Fine-tuning されることが多い。しかし、医療分野における固有表現抽出や関係性抽出など、ドメイン外のタスクで最先端の性能を発揮するためには、ドメイン内での事前学習を追加する必要がある。しかし実際には、段階的に Multi-domain の事前学習を行うと、GLUEなどの汎用的なベンチマークで評価した場合、 Catastrophic Forgetting という形で性能が低下する。
そこで本論文では、 Catastrophic Forgetting を軽減するための既知の手法を実証的に調査した。その結果、 Elastic Weight Consolidation は、bio-medical タスクでは競争力を維持しつつ七種類の一般的なタスクで0.33%の精度低下に抑えており、 総合的に最良のスコアを得た。さらに、 Elastic Weight Consolidation と Experience Replay を用いた場合のカバレッジを向上させるために、勾配と潜在的クラスタリングに基づくデータ選択技術を検討した。
Comment
Meta Fine-Tuning Neural Language Models for Multi-Domain Text Mining [Wang et al., EMNLP-2020]
Paper
https://www.aclweb.org/anthology/2020.emnlp-main.250/
Summary
タスクに特化した学習セットを用いて事前学習済みモデルを Fine-tuning することは、様々なNLPタスクにおいて有効である。しかし、事前学習済みモデルから直接パラメータを初期化しているため、異なるドメインの類似したNLPタスクの学習プロセスがどのように相関し、相互に強化されているかを無視している。
本論文では、 Meta Fine-tuning(MFT)と呼ばれる効果的な学習方法を提案している。MFT は、すべてのデータセットに対して単純にマルチタスク学習を行うのではなく、様々なドメインの典型的なインスタンスからのみ学習を行うことで、伝達性の高い知識を獲得する。さらに、 domain corruption loss function を最適化することで、言語モデルがドメインに依存しない表現をエンコードするように促す。 MFT によってモデルはより優れたパラメータの初期化が行われ、また高い汎化能力を持つようになり、各ドメインに合わせて Fine-tuning することが可能となる。
いくつかの Multi-domain text mining タスクを解決するため、 BERT に MFT を実装して実験を行ったところ、 MFT の有効性と few-shot learning の有用性が確認された。
Comment
BERT と比較したとき、 MLNI において数%の精度改善が確認された。
Multi-domain text mining の先行研究について触れられていない点が残念なところ。
Joint Keyphrase Chunking and Salience Ranking with BERT [Kim et al., 2020]
Paper
https://arxiv.org/pdf/2004.13639.pdf
Summary
効果的なキーフレーズ抽出システムでは、ドキュメントのトピックの鍵となる自己完結型の高品質なフレーズを生成する必要がある。そこで本論文では、キーフレーズ抽出のためのマルチタスクBERTベースのモデルであるBERT-JointKPEを紹介する。
JointKPEは、高品質なフレーズを識別するための chunking network と ranking network を用いて、文書内の重要度を学習する。このモデルは、 chunking task と ranking task の両方で学習されており、キーフレーズの品質とランキングの推定のバランスをとっている。
OpenKP と KP20K を用いた実験を実施したところ、JointKPEは様々な事前学習済みモデルに対してロバストであることが明らかとなった。さらに分析の結果、JointKPEは長いキーフレーズの抽出において有効であり、さらにエンティティではなく、意味のあるフレーズを抽出すると考えられる。
Comment
Learning a Multi-Domain Curriculum for Neural Machine Translation [Wang et al., ACL-2020]
Paper
https://www.aclweb.org/anthology/2020.acl-main.689
Summary
機械翻訳におけるデータ選択に関する研究の多くは、 single-domain の改善に焦点を当てている。
そこで本研究では、 multi-domain のデータ選択を一度に行う。これはインスタンスレベルの domain-relevance features を導入し、 multi-domain に関連してノイズの少ないバッチに少しずつ焦点を当てて学習する training curriculum を自動的に構築することで実現している。Domain-relevance features と training curriculum の双方が、ドメイン外を含む全ドメインを満遍なく改善するために重要である。
提案法の精度を確認するための実験では、 multi-domain の training curriculum は従来法以上の結果となり、 training curriculum なしの訓練を行ったモデルの精度を上回った。
Comment
Multi-domain NMT に関する先行研究に言及してくれている。あと、 Single-domain に特化すると他のドメインに悪影響がある、と明言している論文を探していたので、次の一文が個人的に嬉しい。
For example, improving the translation accuracy of one domain will often hurt that of another and improving model generalization across all domains by clean-data selection may not promise optimization of a particular domain.
Recommend Projects
-
React
A declarative, efficient, and flexible JavaScript library for building user interfaces.
-
Vue.js
🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.
-
Typescript
TypeScript is a superset of JavaScript that compiles to clean JavaScript output.
-
TensorFlow
An Open Source Machine Learning Framework for Everyone
-
Django
The Web framework for perfectionists with deadlines.
-
Laravel
A PHP framework for web artisans
-
D3
Bring data to life with SVG, Canvas and HTML. 📊📈🎉
-
Recommend Topics
-
javascript
JavaScript (JS) is a lightweight interpreted programming language with first-class functions.
-
web
Some thing interesting about web. New door for the world.
-
server
A server is a program made to process requests and deliver data to clients.
-
Machine learning
Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.
-
Visualization
Some thing interesting about visualization, use data art
-
Game
Some thing interesting about game, make everyone happy.
Recommend Org
-
Facebook
We are working to build community through open source technology. NB: members must have two-factor auth.
-
Microsoft
Open source projects and samples from Microsoft.
-
Google
Google ❤️ Open Source for everyone.
-
Alibaba
Alibaba Open Source for everyone
-
D3
Data-Driven Documents codes.
-
Tencent
China tencent open source team.