ChatGPT 和 Microsoft Bing 等生成语言模型正在成为我们许多人的日常工具，但这些模型对许多人来说仍然是黑匣子。 ChatGPT 如何知道接下来要输出哪个单词？它如何理解您提示的文本的含义？每个人，无论是从未与聊天机器人互动过的人，还是经常与聊天机器人互动的人，都可以从对这些语言模型如何运作的基本了解中受益。本课程回答了有关生成式人工智能如何工作的一些基本问题。

在本课程中，您将了解词嵌入：不仅了解它们在这些模型中的使用方式，还了解如何利用向量存储和检索增强生成等概念来解析大量文本信息。了解这些模型的工作原理非常重要，这样您就知道它们的能力以及它们的局限性。

 关于导师

Kate Harwood是《纽约时报》研发团队的一员，负责研究如何将最先进的大型语言模型集成到《纽约时报》的报道和产品中。她还通过编码学校教授人工智能入门课程。她拥有哥伦比亚大学计算机科学硕士学位。她的主要关注点是自然语言处理和道德人工智能。

 学习方法

• 了解人类语言如何转化为模型可以理解的数学
• 了解生成语言模型如何选择要输出的单词
• 了解为什么LLMs的一些激励策略和任务比其他策略和任务更有效
• 了解什么是词嵌入以及如何使用它们为LLMs提供支持
• 了解什么是向量存储/检索增强生成及其重要性
• 严格检查从大型语言模型获得的结果

谁应该学习本课程

 任何人

• 对揭秘生成语言模型感兴趣
• 希望能够以知情的方式与同行讨论这些模型
• 想要揭开LLMs黑匣子内的一些秘密，但没有时间深入实践学习
• 在其工作中具有 ChatGPT 或其他基于文本的生成人工智能或嵌入存储方法的潜在用例

 课程要求

 无具体要求

 课程描述

第 1 课： LLMs和生成式人工智能简介

第一课介绍大型语言模型和生成人工智能。 Kate 讨论了什么是LLM以及什么是生成式人工智能，并提供了机器学习的一般介绍。

第 2 课：词嵌入

第 2 课介绍了词嵌入。 Kate 介绍了单词嵌入空间，并讨论了单词嵌入如何捕获单词含义，使LLMs能够阅读和生成文本内容。然后，本课转向另一个人工智能概念——代币化，然后进行讨论，将所有这些概念整合在一起。 Kate 以词嵌入的一个有趣的副作用结束了本课。

第 3 课：生成语言模型中的词嵌入

第 3 课首先讨论如何在生成语言模型中使用词嵌入。然后，Kate 介绍了使用词嵌入的模型架构，特别是循环神经网络 (RNN) 和 Transformer。 Kate 介绍了 Transformer 中的注意力机制、上下文词嵌入以及 Transformer 如何用于语言生成。本课程最后讨论了当我们训练词嵌入模型时什么效果好，什么可能出问题。

第 4 课：嵌入的其他用例

第 4 课介绍了如何将嵌入用于摘要和向量存储。最后通过一个示例说明如何将嵌入用于检索增强生成 (RAG)。