NMT with Seq2Seq
英文基于词,中文基于字的中英文翻译seq2seq模型。
Folder Description:
# tree -L 1
.
├── backup # 备份权重
├── checkpoint # 训练时的权重
├── data # 训练数据
├── img # 模型架构图
├── lstm_seq2seq.py # 参考文件
├── paper # 参考文章
├── README.md # README文件
├── seq2seq_char_level_with_embedding.py # 基于字符的翻译
├── seq2seq_keras.ipynb # 参考文件
├── seq2seq_keras.py # 参考文件
├── seq2seq_word_level_with_embedding.py # 主要训练文件
└── word2vec # 生成词嵌入向量文件
Install
pandas
zhon
sklearn
pandas
Usage
训练
python seq2seq_word_level_with_embedding
参考
- 数据生成器参考:Word Level English to Marathi Neural Machine Translation using Encoder-Decoder Model
- Keras官方Seq2Seq入门代码,代码基于char-level,博客最后有一个简单的word-based demoA ten-minute introduction to sequence-to-sequence learning in Keras (word based参考)
- Embedding层的加入参考:深度学习中Keras中的Embedding层的理解与使用
- Keras官方Embedding例子:Using pre-trained word embeddings in a Keras model
- Keras关于LSTM的units参数,还是不理解?
- 基于keras的seq2seq中英文翻译实现
- word2vec训练中文词向量
- 英文预训练词向量下载:GloVe pre-training vector
- 中文预训练词向量下载:Chinese Word Vectors 中文词向量(使用字向量)
- 训练翻译模型和训练词向量的数据集:WMT 2020数据集
- 真正的完全图解Seq2Seq Attention模型
- Tensorflow attention官方例子:基于注意力的神经机器翻译
- BLEU:A Gentle Introduction to Calculating the BLEU Score for Text in Python
License
MIT © Richard McRichface