内容 隐藏
1 LLM 微调大师：Llama与Hugging Face Transformers
2 Master LLM Fine Tuning: Llama with Hugging Face Transformers
2.1 你将学到什么
2.2 要求
2.3 描述
2.4 本课程适合谁：

LLM 微调大师：Llama与Hugging Face Transformers

Master LLM Fine Tuning: Llama with Hugging Face Transformers

释放人工智能的力量：掌握 LLama 和 GPT 模型的微调技术以增强机器学习

你将学到什么

  • 使用 HuggingFace 微调 Llama Transformer 模型
  • 了解如何使用 HuggingFace 的 SFT Trainer 进行训练
  • 了解如何使用指令调优数据集进行语言建模对齐
  • 了解使用 HuggingFace 进行监督微调的基础知识
  • 了解如何在您自己的数据上使用生成式人工智能和机器学习

 

要求

  • 需要一个 Google Colab 帐户。最好使用更高内存 GPU 的计算单元。还需要 PyTorch、Python 和机器学习的基本知识。

描述

通过我们全面的 Udemy 课程深入了解 AI 世界，该课程专为渴望掌握指令调优或监督微调 (SFT) 的爱好者而设计，使用极其强大的 Tiny Llama 1.1B 模型。本课程非常适合数据科学家、机器学习工程师以及任何对微调大型语言模型的实际应用感兴趣的人。

我们的课程经过专门设计，旨在为您提供使用 Tiny Llama 1.1B 模型的实践经验，该模型经过 3 万亿个庞大代币的训练，并与 Databricks 制作的 Dolly 15k 记录数据集配对。通过本课程，您不仅会学习 SFT 的基础知识，还会了解如何有效使用 HuggingFace Transformers 库来准备数据集、设置训练和计算准确性 – 所有这些都在 Google Colab 的可访问环境中进行。

你将学到什么

  • 有监督微调 (SFT) 简介：深入了解 SFT 背后的原理及其在根据特定任务定制最先进的语言模型方面的重要性。
  • 探索 Tiny Llama 1.1B：深入研究 Tiny Llama 1.1B 模型的架构和功能，并发现其在 AI 生态系统中的作用。
  • 使用 Dolly 15k 准备数据集：了解如何准备和预处理 Dolly 15k 记录数据集，以确保您的微调过程无缝且高效。
  • HuggingFace Transformers Library：获得 HuggingFace 库的实践经验，学习如何将模型加载到 GPU 上并准备训练环境。
  • 培训设置和执行：使用 Google Colab 逐步完成设置和执行微调过程的步骤，重点关注实际实施。
  • 性能评估：了解如何计算准确性并评估模型的性能，使用指标确保您的 SFT 工作有效。
  • 现实世界应用：将您的新技能转化为现实世界的问题，了解如何使您的微调模型适应各个领域。

使用型号： TinyLlama-1.1B-intermediate-step-1431k-3T

使用的数据集： databricks-dolly-15k

本课程适合谁

  • 寻求专注于 NLP 和指令调优的数据科学家和机器学习工程师。
  • 希望为行业应用实施和扩展微调语言模型的人工智能从业者。
  • 软件开发人员渴望通过复杂的语言理解能力来增强应用程序。
  • 希望亲身体验最先进的人工智能微调技术的学生和学者。

先决条件

  • 精通 Python，熟悉机器学习和 NLP 概念。
  • 具有神经网络框架的经验，最好是 HuggingFace Transformers 库使用的 PyTorch。
  • 用于访问 Google Colab 进行实践练习的 Google 帐户。

本课程适合谁：

  • 本课程是机器学习知识的基础水平。用户应该了解前向和后向传递的基础知识。还假定具有初级到中级 Python 水平。还假定用户拥有 Google Colab 帐户。
声明：本站所有文章，如无特殊说明或标注，均为本站原创发布。任何个人或组织，在未征得本站同意时，禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益，可联系我们进行处理。