大模型微调全流程实战营 从Transformer到Lora、Alpaca及量化优化应用解析
昨天人工智能
课程介绍
本课程旨在为学员提供全面的大模型微调技术实战指导，帮助你深入理解和掌握从Transformer基础到大模型微调的核心原理与应用方法。课程覆盖大模型发展的前沿概念，详细讲解Transformer架构的理论与实践，逐步引入基于Lora、Alpaca、AdaLoRA、QLoRA等方法的微调技术。此外，还包括Prefix Tuning与量化优化等高效训练方法，结合实际案例演示模型的微调、部署与优化过程。无论你是希望系统学习大模型技术的开发者，还是需要在应用中实践微调与优化的从业者，这门课程将帮助你从理论走向实战，全面掌握当前AI技术的精髓。
课程目录
目录下子目录数:30个;总文件数:37个;文件类型共计:2个;总大小:12.68GB字节
├─课件资料.zip
(1)\01 第一周
(2)\02 第二周
(3)\03 第三周
(4)\04 第四周
(5)\05 第五周
(6)\06 第六周
(7)\07 第七周
(8)\08 第八周
(9)\09 第九周
(10)\10 第十周
(11)\01 第一周\01 第一节 2024年1月21日
(12)\02 第二周\01 第二节 2024年1月28日
(13)\03 第三周\01 第三节 2024年2月25日
(14)\04 第四周\01 第四节 2024年3月3日
(15)\05 第五周\01 第五节 2024年3月17日
(16)\06 第六周\01 助教补充课 2024年3月24日
(17)\07 第七周\01 第六节 2024年3月31日
(18)\08 第八周\01 第六节补充课
(19)\09 第九周\01 第七节 2024年4月14日
(20)\10 第十周\01 第七节补充课 2024年4月17日
(21)\01 第一周\01 第一节 2024年1月21日\01 开营+大模型介绍、Transformer;目录中文件数:5个
├─01 开营.mp4
├─02 大模型爆发式发展.mp4
├─03 大模型是如何炼成的.mp4
├─04 Transformer的应用.mp4
├─05 Self-Attention.mp4
(22)\02 第二周\01 第二节 2024年1月28日\01 Transformer、Encoder、Advanced;目录中文件数:4个
├─01 Transformer Part1.mp4
├─02 Transformer Part2.mp4
├─03 Encoder-based and Decoder Based LLMs.mp4
├─04 Advanced Topics.mp4
(23)\03 第三周\01 第三节 2024年2月25日\01 大模型微调概览 Lora微调;目录中文件数:3个
├─01 大模型微调概览.mp4
├─02 Lora微调-Lora算法.mp4
├─03 Lora微调-从零实现Lora到Roberta.mp4
(24)\04 第四周\01 第四节 2024年3月3日\01 Alpaca、AdaLoRA、QLoRA;目录中文件数:3个
├─01 Alpaca.mp4
├─02 AdaLoRA.mp4
├─03 QLoRA.mp4
(25)\05 第五周\01 第五节 2024年3月17日\01 Prefix Tuning、Quantization;目录中文件数:4个
├─01 Prefix Tuning.mp4
├─02 Quantization01.mp4
├─03 Quantization02.mp4
├─04 Quantization Methos for LLM.mp4
(26)\06 第六周\01 助教补充课 2024年3月24日\01 llama介绍&运行&量化&部署&微调;目录中文件数:2个
├─01 llama介绍&运行&量化&部署&微调01.mp4
├─02 llama介绍&运行&量化&部署&微调02.mp4
(27)\07 第七周\01 第六节 2024年3月31日\01 Distributed Computing、Flash Attention;目录中文件数:4个
├─01 GPU时间计算.mp4
├─02 Distributed Computing.mp4
├─03 ZeRO-123 and FSDP.mp4
├─04 Flash Attention.mp4
(28)\08 第八周\01 第六节补充课\01 Flash Attention cont、微调Mistral 7B;目录中文件数:5个
├─01 Flash Attention cont.mp4
├─02 Self-Attention的分块计算.mp4
├─03 分块模式中计算O.mp4
├─04 Mixture of Expert Model.mp4
├─05 微调Mistral 7B.mp4
(29)\09 第九周\01 第七节 2024年4月14日\01 强化学习;目录中文件数:4个
├─01 RLHF介绍.mp4
├─02 强化学习.mp4
├─03 Multi-armed Bandit.mp4
├─04 The goal of Agent.mp4
(30)\10 第十周\01 第七节补充课 2024年4月17日\01 Optimal Policy、Intro to Monte Carlo;目录中文件数:2个
├─01 Optimal Policy.mp4
├─02 Intro to Monte Carlo.mp4
