📖 什么是大语言模型（LLM）？
大语言模型（Large Language Model，LLM）是指参数规模达到数十亿甚至数千亿的语言模型。这些模型通过在海量文本数据上训练，学会了理解和生成人类语言。
🔑 关键特征
1. 规模巨大
- GPT-3：1750亿参数
- GPT-4：估计超过1万亿参数（未公开）
- LLaMA 2：70亿到700亿参数
2. 训练数据海量
- GPT-3：约45TB文本数据（Common Crawl等）
- 包含书籍、网页、维基百科、代码等
3. 涌现能力（Emergent Abilities）
- 当模型规模超过某个阈值，会"突然"获得新能力
- 如：少样本学习（Few-shot Learning）、推理、代码生成
4. 通用性
- 一个模型可以处理多种任务（翻译、摘要、问答、代码等）
- 无需针对每个任务单独训练
为什么叫"大"模型？
- 参数多：从BERT的1.1亿，到GPT-3的1750亿，增长了1000倍以上
- 数据多：训练数据从GB级到TB级、甚至PB级
- 计算多：训练GPT-3估计需要约3640 PFlops-day（数千块GPU运行数月）
💡 类比：如果把小模型比作"小学生"，那么大模型就是"博览群书的教授"。 它"读过"互联网上的大部分文本，因此能够回答各种问题、完成各种任务。
🚀 GPT系列详解
GPT（Generative Pre-trained Transformer）是OpenAI开发的一系列大语言模型。从2018年的GPT-1到2023年的GPT-4，每一代都带来了显著的性能提升。
GPT-1（2018年6月）
创新：
- 生成式预训练：先在大规模无标注文本上预训练，再针对特定任务微调
- Transformer解码器：使用Transformer的解码器部分（单向注意力）
- 通用性：同一个预训练模型可以微调用于多种任务
性能：
- 在9个NLP任务上取得SOTA（state-of-the-art）
- 证明了"预训练+微调"范式的有效性
历史意义：GPT-1奠定了后续GPT系列的基础架构和训练范式。
GPT-2（2019年2月）
创新：
- 零样本学习（Zero-shot）：无需微调，直接通过提示（prompt）完成新任务
- 更大规模：参数量是GPT-1的10倍以上
- 生成质量提升：能够生成连贯、流畅的长文本
争议：
- OpenAI最初拒绝开源完整模型，担心被滥用（如生成假新闻）
- 这引发了关于AI安全与开放的讨论
- 最终，OpenAI还是开源了GPT-2（但比原计划小）
示例：
输入提示："在一场新闻发布会上，科学家宣布发现了一群独角兽..."
GPT-2能够生成一篇关于"独角兽"的逼真新闻稿（约500字）。
GPT-3（2020年5月）
创新：
- 少样本学习（Few-shot）：只需几个示例，就能学会新任务
- 规模效应：证明了"扩大模型规模"能够持续提升性能
- 上下文学习（In-context Learning）：无需梯度更新，仅通过提示中的示例学习
性能：
- 在42个NLP任务上，少样本学习接近或超越SOTA
- 能够写代码、写诗、回答问题、翻译等
影响：
- GPT-3的API（2020年11月）开启了"AI即服务"时代
- 催生了大量基于GPT-3的应用（如Copy.ai、Jasper等）
- 让人们意识到：AI可能已经"通过图灵测试"（在某些任务上）
💡 趣闻：GPT-3的训练成本估计为1200万美元。 这标志着AI研究从"学术界"转向"工业界"——只有大公司才能负担得起训练大模型。
ChatGPT（2022年11月）
背景：ChatGPT不是新的模型，而是GPT-3.5的对话版本。
关键技术：RLHF（人类反馈强化学习）
- 步骤1：使用监督学习微调GPT-3.5（人类标注对话数据）
- 步骤2：让人类对模型输出打分（如"这个回答有用/有害"）
- 步骤3：用这些打分训练一个"奖励模型"（Reward Model）
- 步骤4：用奖励模型通过强化学习优化GPT-3.5
为什么ChatGPT火爆？
- 易用性：对话界面，任何人都能使用
- 能力全面：写代码、写文章、调试、翻译、推理...
- 免费：开放给公众免费使用（有使用限额）
- 病毒式传播：社交媒体上的"ChatGPT能做什么"话题引发热议
数据：
- 发布5天，用户突破100万
- 发布2个月，用户突破1亿（TikTok用了9个月，Instagram用了2.5年）
影响：
- 引发了"AI是否会取代人类工作"的讨论
- 促使Google宣布"红色警报"（Red Code），加速推出Bard
- 微软向OpenAI追加投资100亿美元
- 全球各国开始讨论AI监管
GPT-4（2023年3月）
创新：
- 多模态：可以接受图像输入（如"这张图里发生了什么？"）
- 推理能力提升：在律考（BAR）、生物奥赛等考试中接近或超越人类水平
- 安全性提升：减少了有害输出、 hallucination（幻觉）等
- 上下文长度增加：支持32K tokens（约2.5万字）
性能：
- 律考：模拟分数约297/400（人类平均约270）
- 生物奥赛：模拟分数前1%
- AP考试：在多数科目中得分4-5分（满分5分）
争议：
- OpenAI未公开GPT-4的架构、训练细节（被视为"不再Open"）
- 这引发了关于AI透明度和可重复性的讨论