手把手带你实战Transformers课程的代码仓库
-
基础入门篇:Transformers入门,从环境安装到各个基础组件的介绍,包括Pipeline、Tokenizer、Model、Datasets、Evaluate、Trainer,并通过一个最基本的文本分类实例将各个模块进行串讲
-
实战演练篇:Transformers实战,通过丰富的实战案例对Transformers在NLP任务中的解决方案进行介绍,包括命名实体识别、机器阅读理解、多项选择、文本相似度、检索式对话机器人、掩码语言模型、因果语言模型、摘要生成、生成式对话机器人等,具体内容可能还会再拓展
-
高效训练篇:Transformers模型高效训练,初步规划为参数高效微调与分布式训练。
-
应用部署篇:...
-
LLM实践篇:...
课程视频发布在B站与YouTube,代码与视频会逐步进行更新,目前课程主要更新在B站,YouTube后续会持续更新
-
01-基础知识与环境安装
-
02-基础组件之 Pipeline
-
03-基础组件之 Tokenizer
-
04-基础组件之 Model(上) 基本使用
-
04-基础组件之 Model(下) BERT文本分类代码实例
-
05-基础组件之 Datasets
-
06-基础组件之 Evaluate
-
07-基础组件之 Trainer
-
08-基于 Transformers的 NLP解决方案
-
09-实战演练之 命名实体识别
-
10-实战演练之 机器阅读理解(上,过长截断策略)
-
10-实战演练之 机器阅读理解(下,滑动窗口策略)
-
11-实战演练之 多项选择
-
12-实战演练之 文本相似度(上,基于交互策略)
-
12-实战演练之 文本相似度(下,基于匹配策略)
-
13-实战演练之 检索机器人
-
14-实战演练之 预训练模型
-
15-实战演练篇之 文本摘要(上,基于T5模型)
-
15-实战演练篇之 文本摘要(下,基于GLM模型)
-
16-实战演练篇之 生成式对话机器人(基于Bloom)