从零构建大模型

本书是关于如何从零始构建大模型的指南，由畅销书作家塞巴斯蒂安·拉施卡撰写，通过清晰的文字、图表和实例，逐步指导读者创建自己的大模型。在本书中，读者将学习如何规划和编写大模型的各个组成部分、为大模型训练准备适当的数据集、行通用语料库的预训练，以及定制特定任务的微调。此外，本书还将探讨如何利用人工反馈确保大模型遵循指令，以及如何将预训练权重加载到大模型中。
【推荐语】
Github4万星神作，数据处理 模型搭建 无监督训练 任务微调，仅需掌握Python，带你从零构建AI大模型； 揭大模型背后的面纱，让读者了解其工作原理，学习如何评估其质量，并掌握微调和改的具体技术； 强调亲手实践，使用PyTorch而不依赖现有库，通过各种图表和图解帮助读者深理解LLM的工作机制、局限性和定制方式； 通过本书的学习，读者可以创建自己的小型但功能强大的模型，并将其作为个人助手使用； 更有惊喜彩蛋：深度解析DeepSeek大模型背后技术，揭秘行业前沿！
【作者】
塞巴斯蒂安·拉施卡（Sebastian Raschka），极具影响力的人工智能专家，本书配套GitHub项目LLMs-from-scratch达4万星。现在大模型独角兽公司Lightning Al任资深研究工程师。博士毕业于密歇根州立大学，2018~2023年威斯康星大学麦迪逊分校助理教授（终身教职），从事深度学习科研和教学。除本书外，他还写作了畅销书《大模型技术30讲》和《Python机器学习》。 【译者简介】 覃立波，中南大学特聘教授，博士生导师。现任中国中文信息学会青工委秘书长。主要研究兴趣为人工智能、自然语言处理、大模型等。曾担任ACL.EMNLP、NAACL、IJCAI等国际会议领域主席或高级程序委员会委员。 冯骁骋，哈尔滨工业大学计算学部社会计算与交互机器人研究中心教授，博士生导师，人工智能学院副院长。研究兴趣包括自然语言处理、大模型等。在ACL、AAAl、IJCAl、TKDE、TOIS 等CCFA/B类国际会议及期刊发表论文50余篇。 刘乾，新加坡某公司的研究科学家，主要研究方向是代码生成与自然语言推理。他在顶级人工智能会议（如ICLR、NeurlPS、ICML）上发表了数十篇论文，曾获得2020年百度奖学金提名奖、北京市2023年优秀博士论文提名奖、2024年 KAUST Rising Stars in Al等荣誉。 【主审人简介】 车万翔，哈尔滨工业大学计算学部长聘教授，博士生导师，人工智能研究院副院长，国家级青年人才，斯坦福大学访问学者。 黄科科，中南大学教授，博士生导师，自动化学院副院长，国家级青年人才。