⭐ 必读
Deep Learning(深度学习)
Ian Goodfellow, Yoshua Bengio, Aaron Courville
2016
这本书是深度学习领域的标准教科书。书中涵盖了深度学习的基础(如多层感知机、反向传播)、卷积神经网络(CNN)、循环神经网络(RNN)、优化方法、正则化等。
影响力:成为深度学习领域的圣经,被全球数千所大学采用。Goodfellow、Bengio、Courville因此获得了ACM的Karl V. Karlstrom杰出教育家奖(2020)。
⭐ 经典
Neural Networks and Deep Learning(神经网络与深度学习)
Michael Nielsen
2015(在线免费)
这本书是在线免费的深度学习教程。书中涵盖了神经网络的基础(如感知机、多层感知机、反向传播)、深度学习(如CNN、RNN)、以及实践指南(如权重初始化、激活函数选择)。
影响力:成为深度学习入门的最佳在线资源,被全球数百万读者访问。
Deep Learning with Python(用Python进行深度学习)
François Chollet
2018(2021年第2版)
这本书介绍了如何用Keras(Chollet开发的高级深度学习框架)构建深度学习模型。书中涵盖了CNN、RNN、GAN等,并提供了大量的代码示例。
影响力:成为深度学习实践的入门标准教材,被全球数十万读者阅读。Chollet是Keras的创始人。
Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow(Scikit-Learn、Keras和TensorFlow机器学习实战)
Aurélien Géron
2017(2022年第2版)
这本书介绍了如何用Scikit-Learn、Keras、TensorFlow构建机器学习系统。书中涵盖了线性回归、SVM、决策树、随机森林、CNN、RNN等,并提供了大量的代码示例。
影响力:成为机器学习实践的畅销书,被全球数十万读者阅读。
Deep Learning for Computer Vision(计算机视觉中的深度学习)
Rajalingappaa Shanmugamani
2018
这本书专门介绍深度学习在计算机视觉中的应用。书中涵盖了图像分类、目标检测、语义分割、生成模型等,并提供了大量的代码示例(使用TensorFlow/Keras)。
影响力:成为计算机视觉深度学习的实践指南。
Deep Learning for Natural Language Processing(自然语言处理中的深度学习)
Palash Goyal, Sumit Pandey, Karan Jain
2018
这本书专门介绍深度学习在自然语言处理中的应用。书中涵盖了词嵌入(Word2Vec、GloVe)、序列模型(RNN、LSTM、GRU)、注意力机制、Transformer等。
影响力:成为NLP深度学习的实践指南。
Speech and Language Processing(语音与语言处理)
Dan Jurafsky, James H. Martin
2000(2024年第3版草案)
这本书是NLP领域的标准教科书。书中涵盖了正则表达式、N-gram模型、HMM、PCFG、神经网络(如RNN、Transformer)等。第3版增加了深度学习的内容。
影响力:成为NLP领域的圣经,被全球数千所大学采用。Jurafsky和Martin是斯坦福大学的教授。
Natural Language Processing in Action(自然语言处理实战)
Hobson Lane, Cole Howard, Hannes Hapke
2019
这本书介绍了如何用深度学习进行NLP(如文本分类、情感分析、机器翻译)。书中提供了大量的代码示例(使用TensorFlow/Keras)。
影响力:成为NLP深度学习的实践畅销书。
Foundations of NLP(NLP基础)
Emily M. Bender
2023
这本书从语言学视角介绍了NLP。书中涵盖了词汇、句法、语义、语用等语言学概念,并展示了如何用计算方法建模这些概念。
影响力:成为NLP语言学派的教科书,适合有语言学背景的读者。
Linguistic Fundamentals for NLP(NLP的语言学基础)
Emily M. Bender, Alexandre Rosenberg
2016
这本书专门讲解NLP中的语言学基础。书中涵盖了音系学、形态学、句法学、语义学、语用学等,并展示了这些知识如何帮助NLP系统。
影响力:成为NLP语言学流派的重要参考书。
Neural Network Methods for NLP(NLP的神经网络方法)
Yoav Goldberg
2017
这本书专门讲解NLP中的神经网络方法。书中涵盖了前馈网络、RNN、LSTM、CNN、注意力机制等,并展示了它们在NLP任务中的应用。
影响力:成为NLP深度学习领域的标准教材,被全球数百所大学采用。
Representation Learning for NLP(NLP的表示学习)
Dipanjan Das, Slav Petrov, Jason Baldridge(编辑)
2019
这本书收录了NLP表示学习(Representation Learning)的研究,如词嵌入、句子嵌入、上下文嵌入等。每章由该领域的权威专家撰写。
影响力:成为NLP表示学习领域的研究者参考书。
Attention Is All You Need(注意力就是你所需要的一切)
Alexander Vaswani, Noam Shazeer, Niki Parmar, et al.
2017
这篇论文提出了Transformer架构,完全基于注意力机制(Self-Attention),抛弃了RNN和CNN。Transformer成为后来BERT、GPT等模型的基础。
影响力:标志着NLP从RNN时代进入Transformer时代。这篇论文是NLP领域被引用最多的论文之一。
BERT: Pre-training of Deep Bidirectional Transformers(BERT:深度双向Transformer的预训练)
Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova
2018
这篇论文介绍了BERT(Bidirectional Encoder Representations from Transformers),这是一个基于Transformer的预训练语言模型。BERT在11个NLP任务上取得了SOTA结果。
影响力:标志着NLP进入"预训练+微调"时代。BERT成为后来许多模型(如RoBERTa、ALBERT)的基础。
Improving Language Understanding by Generative Pre-Training(通过生成式预训练改进语言理解)
Alec Radford, Karthik Narasimhan, Tim Salimans, Ilya Sutskever
2018
这篇论文介绍了GPT(Generative Pre-Training),这是一个基于Transformer的生成式语言模型。GPT在9个NLP任务上取得了SOTA结果。
影响力:标志着NLP进入"预训练+微调"时代。GPT成为后来GPT-2、GPT-3、ChatGPT的基础。
Language Models are Unsupervised Multitask Learners(语言模型是无监督的多任务学习者)
Alec Radford, Jeff Wu, Rewon Child, David Luan, Dario Amodei, Ilya Sutskever
2019
这篇论文介绍了GPT-2(15亿参数),并展示了如何用语言模型进行零样本学习(Zero-Shot Learning)。GPT-2能够生成连贯的长文本,引起了关于AI安全的讨论。
影响力:标志着大模型时代的开始。GPT-2展示了语言模型的泛化能力。
GPT-3: Language Models are Few-Shot Learners(GPT-3:语言模型是少样本学习者)
Tom B. Brown, Benjamin Mann, Nick Ryder, et al.
2020
这篇论文介绍了GPT-3(1750亿参数),并展示了如何用语言模型进行少样本学习(Few-Shot Learning)。GPT-3能够在几乎没有微调的情况下完成许多NLP任务。
影响力:标志着大模型时代的全面到来。GPT-3展示了"缩放假设"(Scaling Hypothesis)的有效性。
ImageNet Classification with Deep Convolutional Neural Networks(用深度卷积神经网络进行ImageNet分类)
Alex Krizhevsky, Ilya Sutskever, Geoffrey E. Hinton
2012
这篇论文介绍了AlexNet(最早的深度CNN之一),并在ImageNet竞赛中取得了远低于其他方法的结果(top-5错误率15.3% vs 26.2%)。这标志着深度学习在计算机视觉中的突破。
影响力:标志着深度学习在计算机视觉中的突破。AlexNet成为后来许多CNN架构(如VGG、ResNet)的基础。
Very Deep Convolutional Networks for Large-Scale Image Recognition(用于大规模图像识别的非常深度卷积网络)
Karen Simonyan, Andrew Zisserman
2014
这篇论文介绍了VGGNet(16-19层CNN),并展示了如何用非常小的卷积核(3x3)构建深层网络。VGGNet在ImageNet竞赛中取得了92.7%的top-5准确率。
影响力:成为CNN架构的经典设计。VGGNet的"小卷积核+深层网络"设计被后来许多模型借鉴。
Going Deeper with Convolutions(更深入的卷积)
Christian Szegedy, Wei Liu, Yangqing Jia, et al.
2015
这篇论文介绍了Inception v1(GoogLeNet),并提出了"Inception模块"(并行使用不同大小的卷积核)。GoogLeNet在ImageNet竞赛中取得了93.3%的top-5准确率。
影响力:标志着CNN架构设计的创新。Inception模块被后来许多模型(如Inception v2、v3、v4)借鉴。
Deep Residual Learning for Image Recognition(用于图像识别的深度残差学习)
Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun
2016
这篇论文介绍了ResNet(残差网络),并提出了"跳跃连接"(Skip Connection)来解决深度网络的梯度消失问题。ResNet可以训练超过1000层的网络。
影响力:成为CNN架构的经典设计。ResNet的跳跃连接被后来许多模型(如Transformer、GPT)借鉴。
Densely Connected Convolutional Networks(密集连接的卷积网络)
Gao Huang, Zhuang Liu, Laurens van der Maaten, Kilian Q. Weinberger
2017
这篇论文介绍了DenseNet,并提出了"密集连接"(Dense Connection)——每一层都接收前面所有层的输出作为额外输入。这缓解了梯度消失问题,并促进了特征重用。
影响力:成为CNN架构的经典设计。DenseNet的密集连接被后来许多模型借鉴。
MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications(MobileNets:用于移动视觉应用的高效卷积神经网络)
Andrew G. Howard, Menglong Zhu, Bo Chen, et al.
2017
这篇论文介绍了MobileNet,并提出了"深度可分离卷积"(Depthwise Separable Convolution)来减少参数和计算量。MobileNet适合在移动设备上运行。
影响力:成为轻量级CNN的标准设计。MobileNet被后来许多模型(如MobileNet v2、v3)扩展。
EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks(EfficientNet:重新思考卷积神经网络的模型缩放)
Mingxing Tan, Quoc V. Le
2019
这篇论文介绍了EfficientNet,并提出了"复合缩放"(Compound Scaling)方法——同时缩放深度、宽度、分辨率。EfficientNet在ImageNet上取得了84.4%的top-1准确率。
影响力:成为CNN架构的高效设计。EfficientNet的复合缩放方法被后来许多模型借鉴。
Generative Adversarial Nets(生成对抗网络)
Ian Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, et al.
2014
这篇论文介绍了生成对抗网络(GAN),并提出了"对抗训练"框架——生成器(Generator)试图生成逼真的数据,判别器(Discriminator)试图区分真实数据和生成数据。
影响力:标志着生成模型(Generative Models)的突破。GAN成为后来许多模型(如StyleGAN、BigGAN)的基础。
Auto-Encoding Variational Bayes(自动编码变分贝叶斯)
Diederik P. Kingma, Max Welling
2014
这篇论文介绍了变分自编码器(VAE),并提出了"重参数化技巧"(Reparameterization Trick)来训练VAE。VAE是一种生成模型,能够学习数据的潜在表示。
影响力:成为生成模型的重要方法,尤其适合需要潜在表示的应用(如图像编辑、异常检测)。
Denoising Diffusion Probabilistic Models(去噪扩散概率模型)
Jonathan Ho, Ajay Jain, Pieter Abbeel
2020
这篇论文介绍了扩散模型(Diffusion Models),并展示了如何用"去噪"过程生成高质量的图像。扩散模型后来成为DALL-E 2、Stable Diffusion等的基础。
影响力:标志着扩散模型的突破。扩散模型成为后来许多生成模型(如DALL-E 3、Midjourney v6)的基础。
Deep Reinforcement Learning(深度强化学习)
Volodymyr Mnih, Koray Kavukcuoglu, David Silver, et al.
2015
这篇论文介绍了DQN(Deep Q-Network),并展示了如何用深度学习进行强化学习。DQN在Atari游戏中取得了人类水平的性能。
影响力:标志着深度强化学习(Deep RL)的突破。DQN成为后来许多模型(如A3C、PPO)的基础。
Mastering the Game of Go with Deep Neural Networks and Tree Search(用深度神经网络和树搜索掌握围棋)
David Silver, Aja Huang, Chris J. Maddison, et al.
2016
这篇论文介绍了AlphaGo,并展示了如何用深度学习和蒙特卡洛树搜索(MCTS)掌握围棋。AlphaGo击败了世界冠军李世石。
影响力:标志着AI在复杂博弈中的突破。AlphaGo成为后来许多模型(如AlphaZero、MuZero)的基础。
⭐ 总结
Deep Learning: A Critical Appraisal(深度学习:批判性评估)
Yoav Goldberg
2018
这篇论文对深度学习进行了批判性评估。作者认为,深度学习取得了巨大成功,但仍面临许多挑战(如可解释性、鲁棒性、数据效率)。
影响力:促进了对深度学习局限性的理性思考,影响了后来的可解释AI、鲁棒AI等研究。