NLP 的 Transformer 模型简介

Introduction to Transformer Models for NLP

视频说明

超过 11 个小时的视频教学

了解如何应用最先进的基于 Transformer 的 LLM（包括 BERT、ChatGPT、GPT-3 和 T5）来解决现代 NLP 任务。

相关内容

书籍：大型语言模型快速入门指南、深度学习图解
直播课程：Sinan Ozdemir 即将推出的课程

概述：
NLP 的 Transformer 模型简介 LiveLessons全面概述了 LLM、Transformer 以及机制——注意力、嵌入和标记化——为 BERT 和 ChatGPT 等最先进的 NLP 模型的蓬勃发展奠定了基础。这些课程的重点是提供对 Transformer 架构以及如何使用它们创建现代 NLP 管道的实用、全面和功能性的理解。在整个系列中，讲师 Sinan Ozdemir 将通过插图、已解决的数学示例以及 Jupyter 笔记本中简单的 Python 示例将理论带入生活。

课程中的所有课程均以现实案例研究和实践代码示例为基础。完成本课程后，您将能够很好地理解和使用 Transformer 构建尖端的 NLP 管道。您还将获得广泛的资源和课程详细信息，这些都可以在课程的 GitHub 存储库中找到。

关于讲师
Sinan Ozdemir目前是 Shiba Technologies 的创始人兼首席技术官。Sinan 曾任约翰霍普金斯大学数据科学讲师，也是多本数据科学和机器学习教科书的作者。此外，他还是最近收购的 Kylie.ai 的创始人，这是一个具有 RPA 功能的企业级对话人工智能平台。他拥有约翰·霍普金斯大学纯数学硕士学位，居住在加利福尼亚州旧金山。

技能等级：

• 中间的
• 先进的

了解如何：

• 识别哪种类型的基于变压器的模型最适合给定任务
• 了解 Transformer 如何处理文本并做出预测
• 使用自定义数据微调基于变压器的模型
• 使用微调模型创建可行的管道
• 部署微调模型并在生产中使用它们
• 提示工程师从 GPT-3 和 ChatGPT 获得最佳输出

谁应该参加本课程：

• 具有 ML、神经网络和 NLP 经验的中级/高级机器学习工程师
• 那些希望从 GPT-3 或 ChatGPT 模型获得最佳输出的人
• 对最先进的 NLP 架构感兴趣的人
• 对法学硕士的生产和微调感兴趣的人
• 那些习惯使用 Tensorflow 或 PyTorch 等库的人
• 熟悉线性代数和向量/矩阵运算的人

课程要求：

• 精通 Python 3，具有在交互式 Python 环境（包括笔记本（Jupyter/Google Colab/Kaggle Kernels））中工作的经验
• 轻松使用 Pandas 库以及 Tensorflow 或 PyTorch
• 了解 ML/深度学习基础知识，包括训练/测试分割、损失/成本函数和梯度下降

课程描述：

• 第一课：注意力和语言模型简介
• 第 2 课：Transformers 如何利用注意力来处理文本
• 第 3 课：迁移学习
• 第 4 课：使用 BERT 进行自然语言理解
• 第 5 课：预训练和微调 BERT
• 第 6 课：BERT 实践
• 第 7 课：使用 GPT 生成自然语言
• 第 8 课：GPT 实践
• 第9课：BERT + GPT 的进一步应用
• 第 10 课：T5 — 回归基础
• 第 11 课：实践 T5
• 第 12 课：视觉转换器
• 第 13 课：部署 Transformer 模型
• 第 14 课：使用超大型语言模型