内容 隐藏
1 从零到英雄：训练开源大型语言模型
2 Train OpenSource Large Language Models from Zero to Hero
2.1 学习内容
2.2 要求
2.3 描述
2.4 本课程适合谁：

从零到英雄：训练开源大型语言模型

Train OpenSource Large Language Models from Zero to Hero

如何使用 LoRA QLoRA、DPO 和 ORPO 训练开源LLMs。

学习内容

  • 什么是语言模型以及训练管道的外观
  • LLMs使用监督微调进行微调（LoRA、QLoRA、DoRA）
  • 使用 DPO、KTO 和 ORPO 与人类偏好保持一致LLMs
  • 使用多个 GPU 训练和 Unsloth 库加速LLM训练

要求

  • 不需要任何先验知识

描述

通过此综合课程，释放大型语言模型 （）LLMs 的全部潜力，该课程专为渴望掌握高级训练和优化技术的开发人员和数据科学家而设计。

我将涵盖从 A 到 Z 的所有内容，帮助开发人员了解 Works 的工作原理LLMs，帮助数据科学家学习简单而高级的培训技术。

从语言模型的基础知识和 Transformer 架构的变革能力开始，您将设置开发环境并从头开始训练您的第一个模型。

深入研究 LoRA、QLoRA 和 DoRA 等尖端微调方法，以有效提高模型性能。了解如何使用 Flash Attention 和 NEFTune 等技术提高LLM对嘈杂数据的鲁棒性，并通过动手编码课程获得实践经验。

该课程还探讨了如何使用直接偏好优化 （DPO）、KTO 和 ORPO 等高级方法LLMs与人类偏好保持一致。您将实施这些技术，以确保您的模型不仅性能良好，而且符合用户期望和道德标准。

最后，使用多 GPU 设置、模型并行、全分片数据并行 （FSDP） 训练和 Unsloth 框架来加速您的LLM训练，以提高速度并减少 VRAM 的使用。在本课程结束时，您将拥有良好的理解和实践经验来训练、微调和优化健壮的开源LLMs。

如有任何问题或要求，请使用此电子邮件与我沟通：gal@apriori.ai

祝您学习愉快！

本课程适合谁：

  • 开发人员、数据科学家、AI 爱好者
声明：本站所有文章，如无特殊说明或标注，均为本站原创发布。任何个人或组织，在未征得本站同意时，禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益，可联系我们进行处理。