Transformers在自然语言处理中的应用
资源文件介绍
文件名称
Transformers for Natural Language Processing.pdf
文件描述
本书将带领您深入学习使用Python进行自然语言处理（NLP），并探索由Google、Facebook、Microsoft、OpenAI和Hugging Face等先驱者创建的变压器架构中的各种杰出模型和数据集。本书分为三个阶段，逐步提升您的技能：
-
第一阶段：从原始变压器开始，逐步过渡到RoBERTa、BERT和DistilBERT等模型。您将了解一些小型变压器的训练方法，这些方法在某些情况下甚至可以超越GPT-3。
-
第二阶段：应用自然语言理解（NLU）和自然语言生成（NLG）的变压器模型。您将学习如何处理和分析文本数据，并生成自然语言文本。
-
第三阶段：掌握高级语言理解技术，如优化社交网络数据集和假新闻识别。您将深入理解变压器模型在实际应用中的潜力和限制。
在本书的最后，您将从认知科学的角度理解变压器，并精通将技术巨头预先训练好的变压器模型应用于各种数据集。
您将学到什么
- 使用最新的预训练变压器模型，掌握原始Transformer、GPT-2、BERT、T5等模型的原理。
- 使用优于经典深度学习模型的概念，创建理解语言的Python程序。
- 使用各种NLP平台，包括Hugging Face、Trax和AllenNLP。
- 将Python、TensorFlow和Keras程序应用于情感分析、文本摘要、语音识别、机器翻译等任务。
- 测量关键变压器的生产率，以定义其范围、潜力和生产限制。
本书适合对自然语言处理和变压器模型感兴趣的读者，尤其是那些希望深入了解和应用这些技术的Python开发者。