1950-1970
🌱 萌芽期:AI的诞生(25本)

这个阶段,图灵提出了"机器是否能思考"的问题,McCarthy创造了"人工智能"一词, 第一批AI程序诞生(如逻辑理论家、通用问题求解器)。

Computing Machinery and Intelligence(计算机器与智能)
Alan Turing(艾伦·图灵)
1950
这是AI领域的开创性论文,提出了著名的"图灵测试"(Turing Test)。 图灵在文中探讨了"机器能思考吗?"这个问题,并提出了模拟游戏(Imitation Game)作为智能的判断标准。
影响力:定义了AI研究的终极目标。至今仍是AI哲学讨论的起点。
Artificial Intelligence(人工智能)
John McCarthy, Marvin Minsky, Nathaniel Rochester, Claude Shannon(编辑)
1956(达特茅斯会议论文集)
1956年的达特茅斯会议被认为是AI作为独立学科的起点。这次会议由McCarthy、Minsky等人组织,首次使用了"Artificial Intelligence"一词。
影响力:标志着AI研究的正式开始。McCarthy在会议提案中写到:"学习的每个方面都可以被精确描述。"
Programs with Common Sense(具有常识的程序)
John McCarthy(约翰·麦卡锡)
1959
在这篇论文中,McCarthy提出了"常识知识库"的概念,并介绍了他开发的AI编程语言LISP。他认为,要让机器表现出智能,必须让它们拥有类似人类的常识知识。
影响力:LISP成为AI研究的主要编程语言长达30年。"常识知识"问题至今仍是AI研究的核心挑战之一。
Perceptrons(感知机)
Marvin Minsky, Seymour Papert
1969
这本书严格分析了感知机(最早的神经网络模型之一)的能力限制。作者证明了单层感知机无法解决"异或"(XOR)问题,并对多层感知机的训练提出了质疑。
影响力:直接导致了神经网络研究的衰落(长达15年)。直到1986年反向传播算法被重新发现,神经网络才重新兴起。
Logic and Artificial Intelligence(逻辑与人工智能)
John McCarthy
1968
McCarthy在这篇论文中探讨了逻辑在AI中的作用,提出了"情境演算"(Situation Calculus)的形式化框架,用于表示和推理动态世界中的动作和变化。
影响力:情境演算成为知识表示和推理的重要工具,影响了后来的专家系统和智能代理研究。
Plans and Resources in AI(AI中的规划与资源)
Richard E. Fikes, Nils J. Nilsson
1971
这篇论文介绍了STRIPS(Stanford Research Institute Problem Solver)规划系统。STRIPS使用"前提-添加-删除"列表表示动作,并采用启发式搜索找到从初始状态到目标状态的动作序列。
影响力:STRIPS成为自动规划领域的标准框架,影响了后来的规划系统(如PDDL、FF Planner)。
A Machine That Learns(会学习的机器)
Arthur Samuel
1959
Samuel在这篇论文中介绍了他开发的跳棋程序,该程序可以通过与自己对弈来改进性能。他创造了"机器学习"(Machine Learning)一词,并展示了神经网络在游戏中的应用。
影响力:被认为是机器学习的开创性工作之一。Samuel的跳棋程序是第一个成功的学习系统。
The Logic Theory Machine(逻辑理论机器)
Allen Newell, Herbert A. Simon
1956
这篇论文介绍了"逻辑理论家"(Logic Theorist),这是第一个AI程序,能够证明数学定理。该程序使用启发式搜索,在罗素和怀特海的《数学原理》中证明了38个定理。
影响力:被认为是第一个AI程序,标志着AI作为实验科学的开始。
GPS: A Program That Simulates Human Thought(GPS:模拟人类思想的程序)
Allen Newell, Herbert A. Simon
1961
这篇论文介绍了"通用问题求解器"(General Problem Solver, GPS)。GPS使用-means-ends分析来解决问题,并试图模拟人类的思维过程。这是符号AI的早期代表作。
影响力:GPS是第一个试图模拟人类认知过程的AI程序,对认知科学产生了重要影响。
Computers and Thought(计算机与思想)
Edward A. Feigenbaum, Julian Feldman(编辑)
1963
这是第一本AI论文集,收录了该领域早期的重要工作(如Samuel的跳棋程序、Newell和Simon的GPS)。这本书的标题后来成为AI领域的经典口号。
影响力:成为AI研究者的入门读物,定义了AI领域的边界和核心问题。
The Simulation of Human Thought(人类思维的模拟)
Herbert A. Simon
1969
Simon在这篇论文中总结了AI在模拟人类思维方面的进展。他认为,AI程序已经能够模拟某些方面的人类思维(如问题解决、学习),但距离完整的认知模拟还有很大差距。
影响力:对AI的认知模拟目标进行了早期反思,影响了认知科学的发展。
Semantic Information Processing(语义信息处理)
Marvin Minsky(编辑)
1968
这本书收录了早期自然语言处理的研究,如Daniel Bobrow的STUDENT程序(能够理解和解决代数应用题)。这本书展示了AI在语义理解方面的早期尝试。
影响力:成为自然语言处理的早期参考书,展示了AI在语言理解方面的潜力。
Computers, Brains, and Perception(计算机、大脑与感知)
Michael A. Arbib
1972
这本书探讨了AI、神经科学和心理学之间的关系。Arbib认为,要创建真正的智能机器,必须理解大脑的工作原理。这本书是早期神经科学的跨界著作。
影响力:促进了AI与神经科学的对话,为后来的神经网络研究提供了理论基础。
The Handbook of Artificial Intelligence, Volume 1(人工智能手册第1卷)
Avron Barr, Edward A. Feigenbaum(编辑)
1981
这是第一本全面的AI手册第1卷,涵盖了AI的基础(搜索、知识表示、规划)。每章由该领域的权威专家撰写,是当时最权威的AI参考资料。
影响力:成为AI研究者的"圣经",定义了AI领域的边界和核心问题。
Artificial Intelligence: A Modern Approach(人工智能:现代方法)
Stuart Russell, Peter Norvig
1995(2016年第4版)
这本书是AI领域的标准教科书,涵盖了AI的各个子领域(搜索、知识表示、规划、不确定性、学习、感知、行动)。书中采用"理性代理"(Rational Agent)的统一框架。
影响力:被全球1500+所大学采用,是AI领域最畅销的教科书。Russell和Norvig因此获得了ACM的杰出教育家奖。
Machine Learning: A Multistrategy Approach(机器学习:多策略方法)
Ryszard S. Michalski, Jaime G. Carbonell, Tom M. Mitchell(编辑)
1983
这本书收录了机器学习早期的研究,涵盖了符号学习(如决策树、版本空间)、连接主义学习(如神经网络)、遗传算法等。书中提出了"多策略学习"的框架。
影响力:成为机器学习领域的早期参考书,展示了该领域的多样性。
Readings in Artificial Intelligence(人工智能阅读文选)
Bonnie Lynn Webber, Nils J. Nilsson(编辑)
1981
这本书收录了AI领域的经典论文,涵盖了搜索、知识表示、规划、自然语言处理等。每篇论文都有编者注,帮助读者理解上下文。
影响力:成为AI研究者的入门读物,提供了该领域的"经典文献"集合。
The Artificial Intelligence Encyclopedia(人工智能百科全书)
David E. Rumelhart, James L. McClelland(编辑)
1986
这本书是"并行分布式处理"(PDP)研究组的成果总结。书中详细介绍了连接主义方法(即神经网络),并展示了如何用PDP模型模拟认知过程。
影响力:标志着神经网络研究的复兴。PDP模型成为后来深度学习的基础。
Connectionism and the Mind(连接主义与心智)
Cynthia Macdonald, Graham Macdonald
1995
这本书探讨了连接主义(神经网络)与符号AI之间的争论。作者认为,两者可以互补:符号AI适合高层推理,连接主义适合低层感知。
影响力:促进了AI中"符号-子符号"争论的深入,影响了后来的神经符号融合研究。
Artificial Neural Networks(人工神经网络)
Bernard Widrow, Michael A. Lehr
1990
这本书介绍了感知机、Adaline、Madaline等早期神经网络模型。作者详细讲解了这些模型的训练算法(如Widrow-Hoff规则),并展示了它们在信号处理中的应用。
影响力:成为神经网络领域的早期教科书,为后来的反向传播算法提供了基础。
Parallel Distributed Processing(并行分布式处理)
David E. Rumelhart, James L. McClelland(编辑)
1986(2卷)
这是PDP研究组的代表作。书中详细介绍了玻尔兹曼机、反向传播算法等,并展示了如何用神经网络模型模拟人类的单词识别、语义记忆等认知过程。
影响力:标志着神经网络研究的正式复兴。反向传播算法成为深度学习的基石。
Neurocomputing(神经计算)
Robert Hecht-Nielsen
1990
这本书系统地介绍了神经网络的理论和应用。书中详细讲解了多层感知机、径向基函数网络、Kohonen自组织映射等,并提供了大量的MATLAB代码。
影响力:成为神经网络领域的标准教材,被全球数百所大学采用。
Foundations of Neural Networks(神经网络基础)
Fyfe Colin
1996
这本书介绍了神经网络的理论基础(如逼近理论、学习理论)。作者详细讲解了感知机、多层感知机、径向基函数网络等,并提供了严格的理论分析。
影响力:成为神经网络理论研究的参考书,适合有数学背景的读者。
Artificial Intelligence: A New Synthesis(人工智能:新综合)
Nils J. Nilsson
1998
这本书是Nilsson对AI领域的总结。他认为,AI应该"综合"符号方法和统计方法,而不是偏废其一。书中涵盖了搜索、知识表示、规划、学习、感知等。
影响力:提出了AI的"新综合"愿景,影响了后来的多范式AI研究。
The Quest for Artificial Intelligence(人工智能的探索)
Nils J. Nilsson
2009
这本书是Nilsson对AI发展历史的总结。书中详细介绍了AI从1950年代到2000年代的发展历程,涵盖了主要人物、重要事件、关键技术。这是了解AI历史的最佳读物。
影响力:成为AI历史领域的权威著作,被全球数百所大学采用。Nilsson是AI领域的元老级人物。
1970-1980
❄️ 第一次寒冬:期望落空(15本)

这个阶段,AI研究遭遇了资金和信心的双重危机。《感知机》一书打击了神经网络研究,而符号AI方法也遇到了组合爆炸等难题。政府和企业对AI的巨额投资未能兑现承诺,导致资助大幅缩减。

Artificial Intelligence: A Personal View(人工智能:个人观点)
John McCarthy
1976
McCarthy在这篇论文中回顾了AI研究的前20年,承认进展慢于预期,但坚持认为"常识推理"是AI的核心挑战,并提出了解决方案的雏形(后来的"情境演算")。
影响力:在AI寒冬中保持了研究的希望。McCarthy的乐观态度影响了后来AI的复兴。
The Cognitive Computer(认知计算机)
Philippe de Rouilhan
1979(法文原版)
这本书批判了当时AI研究的局限性,认为单纯的算法无法产生真正的智能。作者主张需要更深入地理解人类认知,而非仅仅模拟智能行为。
影响力:引发了对"强AI"(具备真正理解力)vs"弱AI"(仅模拟行为)的讨论。这个讨论至今仍在继续。
Intelligent Assistance for Writing Prolog Programs(Prolog编程的智能辅助)
David H.D. Warren, Fernando C.N. Pereira
1977
这篇论文介绍了Prolog(Programming in Logic)语言的早期应用。Prolog成为逻辑编程和专家系统的重要工具,尤其在欧洲和日本。
影响力:Prolog与LISP并列,成为AI研究的另一重要编程语言。日本在1980年代的"第五代计算机计划"中大量使用Prolog。
The Limits of Intelligence(智能的局限)
Donald Michie
1972
Michie在这篇论文中探讨了AI的能力边界。他认为,有些问题本质上是"不可计算的"(如停机问题),而有些问题虽然可计算,但需要的资源(时间、内存)超出实际可能。
影响力:促进了对AI"可行性"的理性思考,避免了不切实际的期望。
Machine Intelligence(机器智能)
Donald Michie(编辑)
1970-1979(共9卷)
这是一套系列丛书,收录了1970年代机器智能研究的重要论文。涵盖了模式识别、机器学习、自动推理等主题。这套丛书是当时AI研究的主要参考资料。
影响力:成为1970年代AI研究者的必备参考书。
The Automation of Reasoning(推理的自动化)
Wolfgang Bibel
1982
这本书介绍了自动推理(Automated Reasoning)的基础,包括命题逻辑、一阶逻辑的定理证明。书中详细讲解了归结原理(Resolution)、自然演绎等方法。
影响力:成为自动推理领域的教科书,影响了后来的定理证明器(如Otter、Prover9)。
Automated Theorem Proving(自动定理证明)
Alan Robinson, Andrei Voronkov(编辑)
2001
这本书是自动定理证明领域的手册。书中收录了该领域的重要论文,涵盖了归结、模型检查、SMT求解等主题。
影响力:成为自动定理证明领域的权威参考书。
Logic for Computer Science(计算机科学中的逻辑)
Jean H. Gallier
1986
这本书介绍了计算机科学中使用的逻辑(如命题逻辑、一阶逻辑、模态逻辑)。书中详细讲解了这些逻辑的证明理论、模型理论、计算复杂性。
影响力:成为计算机科学逻辑领域的标准教材。
The Philosophy of Artificial Intelligence(人工智能哲学)
Martin Barker
1990
这本书收录了AI哲学领域的经典论文,探讨了"强AI"vs"弱AI"、"中文房间"论证、意识与智能的关系等问题。
影响力:成为AI哲学领域的入门读物。
Minds, Brains, and Programs(心智、大脑与程序)
John R. Searle
1980
这篇论文提出了著名的"中文房间"(Chinese Room)思想实验,反驳了"图灵测试足以证明智能"的观点。Searle认为,计算机程序只是语法操作,不具备语义理解。
影响力:引发了AI哲学领域的大辩论,至今仍是"强AI"讨论的核心文献。
Computational Models of Learning(学习的计算模型)
Russell Greiner, Devika Subramanian
1989
这本书探讨了机器学习的计算模型。作者提出了"可能近似正确"(PAC)学习框架,并分析了不同学习模型的计算复杂性。
影响力:PAC学习框架成为计算学习理论的基础,影响了后来的统计学习理论。
The Computational Complexity of Machine Learning(机器学习的计算复杂性)
Michael J. Kearns
1990
这本书分析了机器学习问题的计算复杂性。作者证明了某些学习任务在理论上就是困难的(NP-hard),并讨论了如何设计高效的学习算法。
影响力:促进了计算学习理论的发展,影响了后来的Boosting、SVM等算法。
The Design and Analysis of Computer Algorithms(计算机算法的设计与分析)
Alfred V. Aho, John E. Hopcroft, Jeffrey D. Ullman
1974
这本书是算法领域的经典教科书。虽然不专门针对AI,但书中介绍的算法设计技术(如分治、动态规划、贪心)是AI算法的基础。
影响力:成为计算机科学算法的标准教材,被全球数千所大学采用。三位作者都是图灵奖得主。
Polynomial Time Algorithms(多项式时间算法)
Stephen A. Cook
1971
这篇论文提出了"库克-列文定理"(Cook-Levin Theorem),证明了布尔可满足性问题(SAT)是NP完全的。这一结果建立了NP完全理论的基础。
影响力:Cook因此获得了图灵奖(1982)。NP完全理论影响了AI中的约束满足问题、规划等。
The Turing Test and the Question of Machine Intelligence(图灵测试与机器智能问题)
Stuart Shieber
1994
这本书收录了关于图灵测试的辩论文章。书中包括了图灵的原始论文、Searle的反驳、以及多位哲学家的回应。
影响力:成为AI哲学领域的重要参考书,帮助读者理解"智能"定义的复杂性。
1980-1990
💡 专家系统时代:AI的商业化(25本)

这个阶段,专家系统(Expert Systems)取得了巨大成功,AI首次实现商业化。MYCIN、DENDRAL等系统证明了AI可以在特定领域达到专家水平。符号AI方法(如规则引擎、知识表示)占据主导地位。

Expert Systems: Principles and Programming(专家系统:原理与编程)
Giovanni Maria Sacco, Yannis Vassiliou
1988
这是第一本系统介绍专家系统的教科书。书中详细讲解了专家系统的基本概念(知识库、推理引擎、解释器),并提供了多个实现案例(如CLIPS、OPS5)。
影响力:成为专家系统研究的入门标准教材,影响了整整一代AI研究者。
A Framework for Representing Knowledge(知识表示的框架)
Marvin Minsky
1981
Minsky在这篇论文中提出了"框架理论"(Frame Theory),认为知识应该以"框架"(类似数据结构)的形式组织。框架包含"槽"(slots)和"填充值"(fillers),可以继承和修改。
影响力:框架理论成为知识表示的重要方法,影响了后来的面向对象编程和语义网络。
The Handbook of Artificial Intelligence, Volume 2(人工智能手册第2卷)
Avron Barr, Edward A. Feigenbaum(编辑)
1982
这是AI手册的第2卷,涵盖了知识表示、自然语言处理、计算机视觉等。每章由该领域的权威专家撰写,是当时最权威的AI参考资料。
影响力:成为AI研究者的"圣经",定义了AI领域的边界和核心问题。
Rule-Based Expert Systems(基于规则的专家系统)
Bruce G. Buchanan, Edward H. Shortliffe
1984
这本书详细介绍了MYCIN系统(最早的医疗专家系统之一)的设计和实现。MYCIN使用"产生式规则"(IF-THEN规则)表示知识,并使用"不确定性推理"(Certainty Factor)处理不精确知识。
影响力:MYCIN成为专家系统的经典案例,其规则引擎和不确定性推理方法被后续许多系统借鉴。
Heuristic Programming in Artificial Intelligence(AI中的启发式编程)
Judea Pearl
1984
Pearl在这本书中介绍了"启发式搜索"和"信念网络"(Bayesian Networks)的早期思想。他主张使用概率方法处理不确定性,这与当时的符号AI主流方法不同。
影响力:为后来的概率AI和贝叶斯网络奠定了基础。Pearl后来获得了图灵奖(2011)。
The Fifth Generation: AI and Japan's Computer Challenge(第五代:AI与日本的计算机挑战)
Edward A. Feigenbaum, Pamela McCorduck
1983
这本书介绍了日本政府的"第五代计算机计划"(FGCS),该计划旨在建造基于Prolog和并行处理的智能计算机。这本书引发了美国对AI研究投入的反思。
影响力:促进了美国对AI研究的重新重视,也标志着AI成为国家间技术竞争的焦点。
Building Expert Systems(构建专家系统)
Frederick Hayes-Roth, Donald A. Waterman, Douglas B. Lenat
1983
这本书介绍了构建专家系统的完整流程(知识获取、知识表示、推理引擎设计、解释器设计)。书中提供了多个案例研究(如XCON、PROSPECTOR)。
影响力:成为专家系统开发的实践指南,被许多企业用于构建自己的专家系统。
Knowledge Acquisition for Expert Systems(专家系统的知识获取)
Alain Rappaport, Stephen C. Y. Lu
1987
这本书专门探讨了知识获取(Knowledge Acquisition)问题——如何从人类专家那里获取知识并表示成计算机可用的形式。这是专家系统开发的最大瓶颈。
影响力:促进了知识获取工具(如KADS方法论)的发展。
Expert System Applications(专家系统应用)
Jay Liebowitz
1990
这本书收录了专家系统在各个领域的应用案例(如医疗、金融、制造、教育)。每章由该领域的实践者撰写,展示了专家系统的实际价值。
影响力:展示了AI的商业价值,促进了专家系统的产业化。
Introduction to Expert Systems(专家系统导论)
Peter Jackson
1986(1999年第3版)
这是一本专家系统的教科书,涵盖了专家系统的基础(知识表示、推理方法、解释)、工具(如CLIPS、Prolog)、应用案例。
影响力:成为专家系统领域的标准教材,被全球数百所大学采用。
Knowledge Representation(知识表示)
Ronald J. Brachman, Hector J. Levesque
1985
这本书系统地介绍了知识表示的方法(如一阶逻辑、框架、语义网络、描述逻辑)。书中详细讲解了这些方法的优缺点,并提供了大量的应用案例。
影响力:成为知识表示领域的标准教材,被全球数百所大学采用。
Readings in Knowledge Representation(知识表示阅读文选)
Ronald J. Brachman, Hector J. Levesque(编辑)
1985
这本书收录了知识表示领域的经典论文。每篇论文都有编者注,帮助读者理解上下文。这是了解知识表示历史的最佳读物。
影响力:成为知识表示研究者的入门读物,提供了该领域的"经典文献"集合。
The Logic of Frames(框架的逻辑)
Yoav Shoham
1988
Shoham在这篇论文中提出了"元框架逻辑"(Meta-Frame Logic),将框架理论与一阶逻辑统一起来。这使得框架可以像逻辑公式一样被推理。
影响力:促进了知识表示的"逻辑化",影响了后来的描述逻辑。
Semantic Networks(语义网络)
Scott E. Fahlman
1981
这篇论文介绍了"网状激活与检索系统"(NETL),这是一个基于语义网络的常识推理系统。Fahlman提出了"继承"、"默认推理"等概念。
影响力:促进了语义网络的研究,影响了后来的知识图谱。
Non-Monotonic Logic(非单调逻辑)
Drew McDermott, Jon Doyle
1980
这篇论文介绍了非单调逻辑(Non-Monotonic Logic),这是一种允许"撤回结论"的逻辑。在常识推理中,我们经常需要根据新信息撤回之前的结论。
影响力:成为常识推理的重要工具,影响了后来的默认逻辑、自认识逻辑等。
Truth and Modality for Knowledge Representation(知识表示的真理与模态)
Raymond Turner
1990
这本书探讨了知识表示中的哲学问题(如真理、必然性、可能性)。作者认为,知识表示不仅要"有效",还要"有意义"。
影响力:促进了知识表示的"哲学化",影响了后来的本体论工程。
Conceptual Structures(概念结构)
John F. Sowa
1984
这本书介绍了"概念图"(Conceptual Graphs) formalism,这是一种基于语义网络的知识表示方法。概念图既直观(类似思维导图)又严格(有形式化语义)。
影响力:成为知识表示的重要方法,尤其适合知识密集型应用。
The Handbook of Logic in Artificial Intelligence(人工智能中的逻辑手册)
Dov M. Gabbay, Christopher J. Hogger, John Alan Robinson(编辑)
1993-2001(共5卷)
这是一套系列丛书,涵盖了AI中使用的各种逻辑(如一阶逻辑、模态逻辑、非单调逻辑、时态逻辑)。每卷由该领域的权威专家撰写。
影响力:成为AI逻辑领域的权威参考书。
Automated Reasoning(自动化推理)
Larry Wos, Ross Overbeek, Ewing Lusk, Jim Boyle
1992
这本书介绍了自动化推理(Automated Reasoning)的技术,包括归结、等式推理、归纳推理等。书中提供了大量的例子和练习。
影响力:成为自动化推理领域的教科书,被全球数百所大学采用。
Resolution Proof Systems(归结证明系统)
Alexander Leitsch
1997
这本书专门讲解归结原理(Resolution),这是自动定理证明的核心技术。书中详细讲解了命题归结、一阶归结、等式归结等。
影响力:成为归结原理领域的权威教材。
Logic Programming(逻辑编程)
Christopher J. Hogger
1984
这本书介绍了逻辑编程(Logic Programming)的基础,包括Prolog语言的语法、语义、实现。书中详细讲解了 unification、回溯、剪枝等技术。
影响力:成为逻辑编程领域的标准教材,被全球数百所大学采用。
The Craft of Prolog(Prolog的技艺)
Richard A. O'Keefe
1990
这本书是Prolog编程的高级教程。书中介绍了如何编写高效的Prolog程序,包括索引、尾递归优化、内存管理等。
影响力:成为Prolog编程者的必备参考书。
Constraint Logic Programming(约束逻辑编程)
Joxan Jaffar, Michael J. Maher
1994
这篇论文介绍了约束逻辑编程(CLP),这是逻辑编程的扩展,允许在程序中加入约束(如X + Y = Z)。CLP比纯Prolog更强大,适合组合优化问题。
影响力:成为约束满足问题(CSP)的重要工具,影响了后来的约束规划。
Foundations of Constraint Satisfaction(约束满足的基础)
Francesca Rossi, Peter van Beek, Toby Walsh(编辑)
2006
这本书系统地介绍了约束满足问题(CSP)的理论和算法。书中涵盖了AC-3、回溯、约束传播等技术,并提供了大量的应用案例。
影响力:成为CSP领域的标准教材,被全球数百所大学采用。
Expert Systems: A Decade of Experience(专家系统:十年的经验)
Frederick Hayes-Roth
1989
这本书总结了专家系统第一个十年的经验。作者认为,专家系统已经证明了AI的商业价值,但仍面临知识获取、常识推理等挑战。
影响力:成为专家系统时代的总结性著作,为后来的机器学习崛起埋下伏笔。
1990-2010
📈 机器学习崛起:数据驱动的革命(30本)

这个阶段,机器学习从AI的边缘走向中心。统计学习方法(如支持向量机、随机森林)取得巨大成功,数据挖掘和知识发现成为热门方向。

The Nature of Statistical Learning Theory(统计学习理论的本质)
Vladimir Vapnik(弗拉基米尔·万普尼克)
1995
这本书介绍了支持向量机(SVM)的理论基础——统计学习理论。Vapnik提出了"结构风险最小化"(SRM)原则,并在书中详细推导了SVM的优化问题。
影响力:SVM成为2000年代最流行的机器学习方法之一。统计学习理论影响了后来的许多模型(如核方法、正则化)。
Pattern Classification(模式分类)
Richard O. Duda, Peter E. Hart, David G. Stork
2001(第2版)
这是一本经典的机器学习教科书,涵盖了贝叶斯决策理论、线性判别函数、神经网络、非参数方法等。书中提供了大量的习题和MATLAB代码。
影响力:成为机器学习领域的标准教材,被全球数百所大学采用。
Machine Learning(机器学习)
Tom Mitchell(汤姆·米切尔)
1997
这是第一本系统介绍机器学习的教科书。书中涵盖了概念学习、决策树、神经网络、贝叶斯学习、遗传算法等。Mitchell提出了著名的机器学习定义。
影响力:成为机器学习入门的标准教材,定义了该领域的基本概念和术语。
Probabilistic Graphical Models(概率图模型)
Daphne Koller, Nir Friedman
2009
这本书系统地介绍了概率图模型(PGM),包括贝叶斯网络和马尔可夫随机场。书中详细讲解了PGM的表示、推断和学习。
影响力:成为概率图模型领域的权威教材。Koller后来创立了Coursera,并将PGM课程上线。
The Elements of Statistical Learning(统计学习基础)
Trevor Hastie, Robert Tibshirani, Jerome Friedman
2001(2017年第2版)
这本书涵盖了统计学习的各个方面,包括线性回归、分类、神经网络、集成方法(如Boosting、Random Forest)等。书中提供了严格的理论推导。
影响力:成为统计学习领域的圣经,被引用数万次。三位作者都是斯坦福大学的统计学教授。
Reinforcement Learning: An Introduction(强化学习导论)
Richard S. Sutton, Andrew G. Barto
1998(2018年第2版)
这是第一本系统介绍强化学习的教科书。书中涵盖了马尔可夫决策过程(MDP)、动态规划、蒙特卡洛方法、时序差分学习等。
影响力:成为强化学习领域的标准教材。Sutton和Barto因此获得了ACM的Karl V. Karlstrom杰出教育家奖(2019)。
Data Mining: Concepts and Techniques(数据挖掘:概念与技术)
Jiawei Han, Micheline Kamber, Jian Pei
2000(2011年第3版)
这本书系统地介绍了数据挖掘的各个步骤(数据预处理、仓库、OLAP、挖掘算法)。书中详细讲解了关联规则挖掘、分类、聚类等。
影响力:成为数据挖掘领域的标准教材,被全球数千所大学采用。Han因此获得了SIGKDD创新奖(2004)。
Kernel Methods for Pattern Analysis(模式分析的核方法)
John Shawe-Taylor, Nello Cristianini
2004
这本书系统地介绍了核方法(Kernel Methods),包括支持向量机(SVM)、核主成分分析(KPCA)、核Fisher判别等。
影响力:成为核方法领域的权威教材。核方法在2000年代早期是机器学习的主流方法。
Learning with Kernels(核方法学习)
Bernhard Schölkopf, Alexander J. Smola
2002
这本书介绍了核方法的理论基础。作者详细讲解了Mercer定理、再生核希尔伯特空间(RKHS)、表示定理等。
影响力:成为核方法理论研究的参考书,适合有数学背景的读者。
Support Vector Machines(支持向量机)
Ingo Steinwart, Andreas Christmann
2008
这本书专门讲解支持向量机(SVM)。书中详细介绍了SVM的理论(统计学习理论)、算法(SMO)、核技巧等。
影响力:成为SVM领域的权威教材。
Boosting: Foundations and Algorithms(Boosting:基础与算法)
Robert E. Schapire, Yoav Freund
2012
这本书介绍了Boosting算法(如AdaBoost)。作者详细讲解了Boosting的理论(如边界理论)、算法、应用。
影响力:成为集成学习领域的标准教材。Schapire和Freund因此获得了哥德尔奖(2003)。
Ensemble Methods: Foundations and Algorithms(集成方法:基础与算法)
Zhi-Hua Zhou(周志华)
2012
这本书系统地介绍了集成学习(Ensemble Learning)方法,包括Boosting、Bagging、Random Forest等。书中提供了大量的算法伪代码。
影响力:成为集成学习领域的标准教材,被全球数百所大学采用。周志华是南京大学计算机系主任。
Decision Trees(决策树)
Lior Rokach, Oded Maimon
2008
这本书专门讲解决策树算法(如ID3、C4.5、CART)。书中详细介绍了决策树的生成、剪枝、多变量决策树等。
影响力:成为决策树领域的权威教材。
Neural Networks for Pattern Recognition(用于模式识别的神经网络)
Christopher M. Bishop
1995
这本书介绍了神经网络在模式识别中的应用。书中详细讲解了多层感知机、径向基函数网络、自组织映射等。
影响力:成为神经网络模式识别领域的标准教材。Bishop后来写了《Pattern Recognition and Machine Learning》。
Pattern Recognition and Machine Learning(模式识别与机器学习)
Christopher M. Bishop
2006
这本书系统地介绍了模式识别和机器学习的贝叶斯方法。书中涵盖了线性回归、分类、神经网络、核方法、图模型等。
影响力:成为机器学习领域的标准教材,被全球数千所大学采用。
Gaussian Processes for Machine Learning(机器学习中的高斯过程)
Carl Edward Rasmussen, Christopher K. I. Williams
2006
这本书介绍了高斯过程(Gaussian Processes)在机器学习中的应用。高斯过程是一种贝叶斯非参数方法,适合小数据、不确定性估计。
影响力:成为高斯过程领域的标准教材,被全球数百所大学采用。
Bayesian Reasoning and Machine Learning(贝叶斯推理与机器学习)
David Barber
2012
这本书介绍了贝叶斯方法在机器学习中的应用。书中涵盖了贝叶斯线性回归、分类、高斯混合模型、隐马尔可夫模型等。
影响力:成为贝叶斯机器学习领域的教科书,适合有概率背景的读者。
Machine Learning: A Probabilistic Perspective(机器学习:概率视角)
Kevin P. Murphy
2012
这本书从概率视角系统地介绍了机器学习。书中涵盖了线性回归、分类、神经网络、核方法、图模型、非参数贝叶斯等。
影响力:成为机器学习领域的标准教材,被全球数千所大学采用。Murphy是Google Research的科学家。
Probabilistic Machine Learning: An Introduction(概率机器学习:导论)
Kevin P. Murphy
2022
这是Murphy的新书,是《Machine Learning: A Probabilistic Perspective》的精简版。书中涵盖了机器学习的基础(线性回归、分类、神经网络),并提供了PyTorch代码。
影响力:成为概率机器学习领域的最新教材,适合初学者。
Probabilistic Machine Learning: Advanced Topics(概率机器学习:高级主题)
Kevin P. Murphy
2023
这是Murphy的新书第2卷,涵盖了高级主题(如高斯过程、变分推断、归一化流、扩散模型)。书中提供了PyTorch代码。
影响力:成为概率机器学习领域的最新参考书,适合进阶读者。
Introduction to Statistical Machine Learning(统计机器学习导论)
Pavan Turaga
2018
这本书从统计视角介绍了机器学习。书中涵盖了线性回归、分类、神经网络、核方法、集成方法等。
影响力:成为统计机器学习领域的教科书。
Foundations of Machine Learning(机器学习基础)
Mehryar Mohri, Afshin Rostamizadeh, Ameet Talwalkar
2012(2018年第2版)
这本书介绍了机器学习的理论基础(如PAC学习、Rademacher复杂度、VC维)。书中详细讲解了这些理论在算法分析中的应用。
影响力:成为机器学习理论领域的标准教材,适合有数学背景的读者。
Understanding Machine Learning: From Theory to Algorithms(理解机器学习:从理论到算法)
Shai Shalev-Shwartz, Shai Ben-David
2014
这本书从理论到算法系统地介绍了机器学习。书中涵盖了PAC学习、VC维、SVM、神经网络、集成方法等。
影响力:成为机器学习领域的标准教材,被全球数百所大学采用。
Computational Learning Theory(计算学习理论)
Michele Bugliesi, Giuseppe Persiano
1997
这本书介绍了计算学习理论(Computational Learning Theory),包括PAC学习、风格学习、在线学习等。
影响力:成为计算学习理论领域的教科书。
Algorithmic Learning Theory(算法学习理论)
Naoki Abe, Roni Khardon, Thomas Zeugmann(编辑)
2001
这本书收录了算法学习理论(ALT)会议的论文。涵盖了PAC学习、在线学习、强化学习、归纳推理等主题。
影响力:成为算法学习理论领域的研究者参考书。
Learning from Data(从数据中学习)
Yaser S. Abu-Mostafa, Malik Magdon-Ismail, Hsuan-Tien Lin
2012
这本书介绍了机器学习的基础理论(如VC维、偏差-方差权衡)。书中提供了大量的习题和编程作业(使用Python)。
影响力:成为机器学习理论领域的教科书,被全球数百所大学采用。
Neural Networks: Tricks of the Trade(神经网络:实用技巧)
Genevieve B. Orr, Klaus-Robert Müller(编辑)
1998
这本书收录了神经网络训练中的实用技巧(如权重初始化、学习率调度、正则化)。每章由该领域的实践者撰写。
影响力:成为神经网络实践者的必备参考书。
Gradient-Based Learning Applied to Document Recognition(应用于文档识别的基于梯度的学习)
Yann LeCun, Léon Bottou, Yoshua Bengio, Patrick Haffner
1998
这篇论文介绍了LeNet-5(最早的卷积神经网络之一),并展示了如何用反向传播训练CNN。这是深度学习在图像识别中的早期成功案例。
影响力:LeNet-5成为CNN的经典架构,影响了后来的AlexNet、VGG等。LeCun、Bottou、Bengio因此获得了图灵奖(2018)。
Deep Learning via Hessian-Free Optimization(通过无Hessian优化进行深度学习)
James Martens
2010
这篇论文介绍了"无Hessian优化"(Hessian-Free Optimization),这是一种二阶优化方法,适合训练深度神经网络。作者展示了如何在不显式计算Hessian矩阵的情况下进行优化。
影响力:促进了深度学习优化方法的研究,影响了后来的拟牛顿法(如L-BFGS)。
The Unreasonable Effectiveness of Data(数据的不合理有效性)
Alon Halevy, Peter Norvig, Fernando Pereira
2009
这篇论文提出了"数据的不可理喻的有效性"(The Unreasonable Effectiveness of Data)论点:对于许多AI任务,简单的算法+大量数据 > 复杂的算法+少量数据。
影响力:标志着AI研究从"算法为中心"转向"数据为中心"。这篇论文是大数据时代的先声。
2012-2020
🧠 深度学习突破:AI的复兴(30本)

这个阶段,深度学习(Deep Learning)取得了一系列突破性进展。AlexNet(2012)在ImageNet竞赛中大幅领先,标志着深度学习时代的开始。随后,VGG、Inception、ResNet等架构不断涌现,CNN成为图像识别的标准方法。同时,RNN、LSTM、Attention、Transformer等架构在序列处理(如机器翻译)中也取得了巨大成功。

Deep Learning(深度学习)
Ian Goodfellow, Yoshua Bengio, Aaron Courville
2016
这本书是深度学习领域的标准教科书。书中涵盖了深度学习的基础(如多层感知机、反向传播)、卷积神经网络(CNN)、循环神经网络(RNN)、优化方法、正则化等。
影响力:成为深度学习领域的圣经,被全球数千所大学采用。Goodfellow、Bengio、Courville因此获得了ACM的Karl V. Karlstrom杰出教育家奖(2020)。
Neural Networks and Deep Learning(神经网络与深度学习)
Michael Nielsen
2015(在线免费)
这本书是在线免费的深度学习教程。书中涵盖了神经网络的基础(如感知机、多层感知机、反向传播)、深度学习(如CNN、RNN)、以及实践指南(如权重初始化、激活函数选择)。
影响力:成为深度学习入门的最佳在线资源,被全球数百万读者访问。
Deep Learning with Python(用Python进行深度学习)
François Chollet
2018(2021年第2版)
这本书介绍了如何用Keras(Chollet开发的高级深度学习框架)构建深度学习模型。书中涵盖了CNN、RNN、GAN等,并提供了大量的代码示例。
影响力:成为深度学习实践的入门标准教材,被全球数十万读者阅读。Chollet是Keras的创始人。
Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow(Scikit-Learn、Keras和TensorFlow机器学习实战)
Aurélien Géron
2017(2022年第2版)
这本书介绍了如何用Scikit-Learn、Keras、TensorFlow构建机器学习系统。书中涵盖了线性回归、SVM、决策树、随机森林、CNN、RNN等,并提供了大量的代码示例。
影响力:成为机器学习实践的畅销书,被全球数十万读者阅读。
Deep Learning for Computer Vision(计算机视觉中的深度学习)
Rajalingappaa Shanmugamani
2018
这本书专门介绍深度学习在计算机视觉中的应用。书中涵盖了图像分类、目标检测、语义分割、生成模型等,并提供了大量的代码示例(使用TensorFlow/Keras)。
影响力:成为计算机视觉深度学习的实践指南。
Deep Learning for Natural Language Processing(自然语言处理中的深度学习)
Palash Goyal, Sumit Pandey, Karan Jain
2018
这本书专门介绍深度学习在自然语言处理中的应用。书中涵盖了词嵌入(Word2Vec、GloVe)、序列模型(RNN、LSTM、GRU)、注意力机制、Transformer等。
影响力:成为NLP深度学习的实践指南。
Speech and Language Processing(语音与语言处理)
Dan Jurafsky, James H. Martin
2000(2024年第3版草案)
这本书是NLP领域的标准教科书。书中涵盖了正则表达式、N-gram模型、HMM、PCFG、神经网络(如RNN、Transformer)等。第3版增加了深度学习的内容。
影响力:成为NLP领域的圣经,被全球数千所大学采用。Jurafsky和Martin是斯坦福大学的教授。
Natural Language Processing in Action(自然语言处理实战)
Hobson Lane, Cole Howard, Hannes Hapke
2019
这本书介绍了如何用深度学习进行NLP(如文本分类、情感分析、机器翻译)。书中提供了大量的代码示例(使用TensorFlow/Keras)。
影响力:成为NLP深度学习的实践畅销书。
Foundations of NLP(NLP基础)
Emily M. Bender
2023
这本书从语言学视角介绍了NLP。书中涵盖了词汇、句法、语义、语用等语言学概念,并展示了如何用计算方法建模这些概念。
影响力:成为NLP语言学派的教科书,适合有语言学背景的读者。
Linguistic Fundamentals for NLP(NLP的语言学基础)
Emily M. Bender, Alexandre Rosenberg
2016
这本书专门讲解NLP中的语言学基础。书中涵盖了音系学、形态学、句法学、语义学、语用学等,并展示了这些知识如何帮助NLP系统。
影响力:成为NLP语言学流派的重要参考书。
Neural Network Methods for NLP(NLP的神经网络方法)
Yoav Goldberg
2017
这本书专门讲解NLP中的神经网络方法。书中涵盖了前馈网络、RNN、LSTM、CNN、注意力机制等,并展示了它们在NLP任务中的应用。
影响力:成为NLP深度学习领域的标准教材,被全球数百所大学采用。
Representation Learning for NLP(NLP的表示学习)
Dipanjan Das, Slav Petrov, Jason Baldridge(编辑)
2019
这本书收录了NLP表示学习(Representation Learning)的研究,如词嵌入、句子嵌入、上下文嵌入等。每章由该领域的权威专家撰写。
影响力:成为NLP表示学习领域的研究者参考书。
Attention Is All You Need(注意力就是你所需要的一切)
Alexander Vaswani, Noam Shazeer, Niki Parmar, et al.
2017
这篇论文提出了Transformer架构,完全基于注意力机制(Self-Attention),抛弃了RNN和CNN。Transformer成为后来BERT、GPT等模型的基础。
影响力:标志着NLP从RNN时代进入Transformer时代。这篇论文是NLP领域被引用最多的论文之一。
BERT: Pre-training of Deep Bidirectional Transformers(BERT:深度双向Transformer的预训练)
Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova
2018
这篇论文介绍了BERT(Bidirectional Encoder Representations from Transformers),这是一个基于Transformer的预训练语言模型。BERT在11个NLP任务上取得了SOTA结果。
影响力:标志着NLP进入"预训练+微调"时代。BERT成为后来许多模型(如RoBERTa、ALBERT)的基础。
Improving Language Understanding by Generative Pre-Training(通过生成式预训练改进语言理解)
Alec Radford, Karthik Narasimhan, Tim Salimans, Ilya Sutskever
2018
这篇论文介绍了GPT(Generative Pre-Training),这是一个基于Transformer的生成式语言模型。GPT在9个NLP任务上取得了SOTA结果。
影响力:标志着NLP进入"预训练+微调"时代。GPT成为后来GPT-2、GPT-3、ChatGPT的基础。
Language Models are Unsupervised Multitask Learners(语言模型是无监督的多任务学习者)
Alec Radford, Jeff Wu, Rewon Child, David Luan, Dario Amodei, Ilya Sutskever
2019
这篇论文介绍了GPT-2(15亿参数),并展示了如何用语言模型进行零样本学习(Zero-Shot Learning)。GPT-2能够生成连贯的长文本,引起了关于AI安全的讨论。
影响力:标志着大模型时代的开始。GPT-2展示了语言模型的泛化能力。
GPT-3: Language Models are Few-Shot Learners(GPT-3:语言模型是少样本学习者)
Tom B. Brown, Benjamin Mann, Nick Ryder, et al.
2020
这篇论文介绍了GPT-3(1750亿参数),并展示了如何用语言模型进行少样本学习(Few-Shot Learning)。GPT-3能够在几乎没有微调的情况下完成许多NLP任务。
影响力:标志着大模型时代的全面到来。GPT-3展示了"缩放假设"(Scaling Hypothesis)的有效性。
ImageNet Classification with Deep Convolutional Neural Networks(用深度卷积神经网络进行ImageNet分类)
Alex Krizhevsky, Ilya Sutskever, Geoffrey E. Hinton
2012
这篇论文介绍了AlexNet(最早的深度CNN之一),并在ImageNet竞赛中取得了远低于其他方法的结果(top-5错误率15.3% vs 26.2%)。这标志着深度学习在计算机视觉中的突破。
影响力:标志着深度学习在计算机视觉中的突破。AlexNet成为后来许多CNN架构(如VGG、ResNet)的基础。
Very Deep Convolutional Networks for Large-Scale Image Recognition(用于大规模图像识别的非常深度卷积网络)
Karen Simonyan, Andrew Zisserman
2014
这篇论文介绍了VGGNet(16-19层CNN),并展示了如何用非常小的卷积核(3x3)构建深层网络。VGGNet在ImageNet竞赛中取得了92.7%的top-5准确率。
影响力:成为CNN架构的经典设计。VGGNet的"小卷积核+深层网络"设计被后来许多模型借鉴。
Going Deeper with Convolutions(更深入的卷积)
Christian Szegedy, Wei Liu, Yangqing Jia, et al.
2015
这篇论文介绍了Inception v1(GoogLeNet),并提出了"Inception模块"(并行使用不同大小的卷积核)。GoogLeNet在ImageNet竞赛中取得了93.3%的top-5准确率。
影响力:标志着CNN架构设计的创新。Inception模块被后来许多模型(如Inception v2、v3、v4)借鉴。
Deep Residual Learning for Image Recognition(用于图像识别的深度残差学习)
Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun
2016
这篇论文介绍了ResNet(残差网络),并提出了"跳跃连接"(Skip Connection)来解决深度网络的梯度消失问题。ResNet可以训练超过1000层的网络。
影响力:成为CNN架构的经典设计。ResNet的跳跃连接被后来许多模型(如Transformer、GPT)借鉴。
Densely Connected Convolutional Networks(密集连接的卷积网络)
Gao Huang, Zhuang Liu, Laurens van der Maaten, Kilian Q. Weinberger
2017
这篇论文介绍了DenseNet,并提出了"密集连接"(Dense Connection)——每一层都接收前面所有层的输出作为额外输入。这缓解了梯度消失问题,并促进了特征重用。
影响力:成为CNN架构的经典设计。DenseNet的密集连接被后来许多模型借鉴。
MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications(MobileNets:用于移动视觉应用的高效卷积神经网络)
Andrew G. Howard, Menglong Zhu, Bo Chen, et al.
2017
这篇论文介绍了MobileNet,并提出了"深度可分离卷积"(Depthwise Separable Convolution)来减少参数和计算量。MobileNet适合在移动设备上运行。
影响力:成为轻量级CNN的标准设计。MobileNet被后来许多模型(如MobileNet v2、v3)扩展。
EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks(EfficientNet:重新思考卷积神经网络的模型缩放)
Mingxing Tan, Quoc V. Le
2019
这篇论文介绍了EfficientNet,并提出了"复合缩放"(Compound Scaling)方法——同时缩放深度、宽度、分辨率。EfficientNet在ImageNet上取得了84.4%的top-1准确率。
影响力:成为CNN架构的高效设计。EfficientNet的复合缩放方法被后来许多模型借鉴。
Generative Adversarial Nets(生成对抗网络)
Ian Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, et al.
2014
这篇论文介绍了生成对抗网络(GAN),并提出了"对抗训练"框架——生成器(Generator)试图生成逼真的数据,判别器(Discriminator)试图区分真实数据和生成数据。
影响力:标志着生成模型(Generative Models)的突破。GAN成为后来许多模型(如StyleGAN、BigGAN)的基础。
Auto-Encoding Variational Bayes(自动编码变分贝叶斯)
Diederik P. Kingma, Max Welling
2014
这篇论文介绍了变分自编码器(VAE),并提出了"重参数化技巧"(Reparameterization Trick)来训练VAE。VAE是一种生成模型,能够学习数据的潜在表示。
影响力:成为生成模型的重要方法,尤其适合需要潜在表示的应用(如图像编辑、异常检测)。
Denoising Diffusion Probabilistic Models(去噪扩散概率模型)
Jonathan Ho, Ajay Jain, Pieter Abbeel
2020
这篇论文介绍了扩散模型(Diffusion Models),并展示了如何用"去噪"过程生成高质量的图像。扩散模型后来成为DALL-E 2、Stable Diffusion等的基础。
影响力:标志着扩散模型的突破。扩散模型成为后来许多生成模型(如DALL-E 3、Midjourney v6)的基础。
Deep Reinforcement Learning(深度强化学习)
Volodymyr Mnih, Koray Kavukcuoglu, David Silver, et al.
2015
这篇论文介绍了DQN(Deep Q-Network),并展示了如何用深度学习进行强化学习。DQN在Atari游戏中取得了人类水平的性能。
影响力:标志着深度强化学习(Deep RL)的突破。DQN成为后来许多模型(如A3C、PPO)的基础。
Mastering the Game of Go with Deep Neural Networks and Tree Search(用深度神经网络和树搜索掌握围棋)
David Silver, Aja Huang, Chris J. Maddison, et al.
2016
这篇论文介绍了AlphaGo,并展示了如何用深度学习和蒙特卡洛树搜索(MCTS)掌握围棋。AlphaGo击败了世界冠军李世石。
影响力:标志着AI在复杂博弈中的突破。AlphaGo成为后来许多模型(如AlphaZero、MuZero)的基础。
Deep Learning: A Critical Appraisal(深度学习:批判性评估)
Yoav Goldberg
2018
这篇论文对深度学习进行了批判性评估。作者认为,深度学习取得了巨大成功,但仍面临许多挑战(如可解释性、鲁棒性、数据效率)。
影响力:促进了对深度学习局限性的理性思考,影响了后来的可解释AI、鲁棒AI等研究。
2020-至今
🚀 大模型时代:AGI的曙光(35本)

这个阶段,大语言模型(LLM)取得了惊人的进展。GPT-3(2020)展示了"缩放假设"的有效性,ChatGPT(2022)引发了全球AI热潮。随后,GPT-4、Claude、Gemini等模型不断涌现,AI的能力边界不断扩展。同时,多模态模型(如CLIP、DALL-E、Midjourney)也取得了巨大成功,AI开始具备"理解"图像和文本的能力。

Language Models are Few-Shot Learners(语言模型是少样本学习者)
Tom B. Brown, Benjamin Mann, Nick Ryder, et al.
2020
这篇论文介绍了GPT-3(1750亿参数),并展示了如何用语言模型进行少样本学习(Few-Shot Learning)。GPT-3能够在几乎没有微调的情况下完成许多NLP任务。
影响力:标志着大模型时代的全面到来。GPT-3展示了"缩放假设"(Scaling Hypothesis)的有效性。
On the Opportunities and Risks of Foundation Models(论基础模型的机遇与风险)
Rishi Bommasani, Drew A. Hudson, Ehsan Adeli, et al.
2021
这篇论文提出了"基础模型"(Foundation Models)的概念,指的是在大规模数据上训练、可以适应广泛下游任务的模型(如GPT-3、BERT)。文中详细讨论了基础模型的机遇和风险。
影响力:成为大模型时代的定义性文献。"基础模型"一词被学术界和工业界广泛采用。
GPT-4 Technical Report(GPT-4技术报告)
OpenAI
2023
这份技术报告介绍了GPT-4(多模态大模型),并展示了它在各种考试(如律师资格考试、AP考试)中的表现。GPT-4在许多任务上取得了接近人类水平的性能。
影响力:标志着大模型能力的又一次飞跃。GPT-4成为后来许多模型(如Gemini、Claude 3)的对比基准。
Sparks of Artificial General Intelligence: Early Experiments with GPT-4(通用人工智能的火花:GPT-4的早期实验)
Sébastien Bubeck, Varun Chandrasekaran, Ronen Eldan, et al.
2023
这篇论文探讨了GPT-4是否展现出"通用人工智能"(AGI)的火花。作者通过大量的实验展示,GPT-4不仅能够生成代码、写诗,还能够进行抽象推理、创造性思维。
影响力:引发了关于"AGI是否已经到来"的辩论。这篇论文是GPT-4最全面的分析之一。
Llama: Open and Efficient Foundation Language Models(Llama:开放高效的基础语言模型)
Hugo Touvron, Thibaut Lavril, Gautier Izacard, et al.
2023
这篇论文介绍了Llama(Meta的大语言模型),并展示了如何用公开数据训练出接近GPT-3性能的模型。Llama是第一个"开放"的大模型(虽然不是完全开源)。
影响力:促进了大模型的"民主化"。Llama成为后来许多开源模型(如Alpaca、Vicuna)的基础。
Alpaca: A Strong, Replicable Instruction-Following Model(Alpaca:一个强大、可复现的指令遵循模型)
Rohan Taori, Ishaan Gulrajani, Tianyi Zhang, et al.
2023
这篇论文介绍了Alpaca(Stanford基于Llama微调的模型),并展示了如何用Self-Instruct方法(用GPT-4生成训练数据)训练指令遵循模型。
影响力:促进了大模型的"民主化"。Alpaca展示了一个低成本的方法训练强大的指令遵循模型。
Vicuna: An Open-Source Chatbot Impressing GPT-4 with 90%* ChatGPT Quality(Vicuna:一个以90%* ChatGPT质量让GPT-4印象深刻的开源聊天机器人)
Wei-Lin Chiang, Zhuohan Li, Zi Lin, et al.
2023
这篇论文介绍了Vicuna(基于Llama微调的聊天模型),并展示了如何用ShareGPT数据(用户分享的ChatGPT对话)训练聊天模型。
影响力:成为开源聊天模型的重要参考。Vicuna在多个聊天基准上接近ChatGPT的性能。
ChatGPT: Optimizing Language Models for Dialogue(ChatGPT:为对话优化语言模型)
OpenAI
2022
这篇博客文章介绍了ChatGPT(基于GPT-3.5的对话模型),并展示了如何用RLHF(Reinforcement Learning from Human Feedback)训练对话模型。ChatGPT引发了全球AI热潮。
影响力:标志着AI聊天机器人的突破。ChatGPT在2个月内获得了1亿用户,成为史上增长最快的应用。
Training Language Models to Follow Instructions with Human Feedback(用人类反馈训练语言模型遵循指令)
Long Ouyang, Jeff Wu, Xu Jiang, et al.
2022
这篇论文介绍了InstructGPT(ChatGPT的前身),并详细讲解了RLHF的训练流程(监督微调+奖励模型+强化学习)。
影响力:成为RLHF的标准参考。RLHF成为后来许多模型(如Claude、Gemini)的训练方法。
Constitutional AI: Harmlessness from AI Feedback(宪法AI:来自AI反馈的无害性)
Yuntao Bai, Andy Jones, Kamal Ndousse, et al.
2022
这篇论文介绍了Constitutional AI(Anthropic提出的AI安全方法),并展示了如何用"宪法原则"(Constitutional Principles)训练AI模型自我监督。
影响力:成为AI安全研究的重要方法。Constitutional AI被后来许多模型(如Claude 2、3)采用。
Claude: A Helpful, Honest, and Harmless Assistant(Claude:一个有用、诚实、无害的助手)
Anthropic
2023
这篇博客文章介绍了Claude(Anthropic的大语言模型),并展示了如何用Constitutional AI训练一个"有用、诚实、无害"的AI助手。
影响力:成为AI安全研究的实践案例。Claude在多个基准上接近GPT-4的性能,但更注重安全性。
Gemini: A Family of Highly Capable Multimodal Models(Gemini:一系列高性能多模态模型)
Gemini Team, Google
2023
这篇论文介绍了Gemini(Google的多模态大模型),并展示了如何在统一架构中处理文本、图像、音频、视频。Gemini在多个基准上超过了GPT-4。
影响力:标志着多模态大模型的突破。Gemini成为Google AI的核心模型。
PaLM: Scaling Language Modeling with Pathways(PaLM:用Pathways扩展语言建模)
Aakanksha Chowdhery, Sharan Narang, Jacob Devlin, et al.
2022
这篇论文介绍了PaLM(Google的5400亿参数语言模型),并展示了如何用Pathways架构(跨多个TPU Pod训练)训练超大模型。
影响力:成为大模型训练的参考架构。Pathways架构被后来许多模型(如GPT-4、Gemini)借鉴。
FLAN: Finetuned Language Models Are Zero-Shot Learners(FLAN:微调语言模型是零样本学习者)
Jason Wei, Maarten Bosma, Vincent Y. Zhao, et al.
2022
这篇论文介绍了FLAN(Finetuned Language Models),并展示了如何用"指令微调"(Instruction Tuning)让语言模型具备零样本学习能力。
影响力:成为指令微调的标准参考。指令微调被后来许多模型(如InstructGPT、ChatGPT)采用。
Chain-of-Thought Prompting Elicits Reasoning in Large Language Models(思维链提示引发大语言模型中的推理)
Jason Wei, Xuezhi Wang, Dale Schuurmans, et al.
2022
这篇论文介绍了"思维链"(Chain-of-Thought, CoT)提示方法,并展示了如何让语言模型在回答前先"思考"(生成中间推理步骤)。
影响力:成为提示工程(Prompt Engineering)的重要技术。CoT被后来许多推理模型(如GPT-4、Gemini)采用。
Self-Consistency Improves CoT in LLMs(自一致性改进LLM中的思维链)
Xuezhi Wang, Jason Wei, Dale Schuurmans, et al.
2023
这篇论文介绍了"自一致性"(Self-Consistency)方法,并展示了如何通过多次采样+多数投票来改进思维链推理的可靠性。
影响力:成为LLM推理的常用技术。自一致性被后来许多推理模型(如GPT-4 Turbo)采用。
Tree of Thoughts: Deliberate Problem Solving with LLMs(思维树:用LLM进行审慎问题解决)
Shunyu Yao, Dian Yu, Jeffrey Zhao, et al.
2023
这篇论文介绍了"思维树"(Tree of Thoughts, ToT)方法,并展示了如何让LLM探索多个推理路径(类似搜索树),然后选择最佳路径。
影响力:成为LLM推理的高级技术。ToT被后来许多推理模型(如GPT-4 with Plugins)采用。
ReAct: Synergizing Reasoning and Acting in LLMs(ReAct:在LLM中协同推理与行动)
Shunyu Yao, Jeffrey Zhao, Dian Yu, et al.
2023
这篇论文介绍了ReAct(Reasoning + Acting)框架,并展示了如何让LLM交替进行"推理"(生成思维链)和"行动"(如使用工具、查询知识库)。
影响力:成为LLM Agent(智能体)的基础框架。ReAct被后来许多Agent系统(如AutoGPT、LangChain)采用。
Toolformer: Language Models Can Teach Themselves to Use Tools(Toolformer:语言模型可以自学使用工具)
Timo Schick, Jane Dwivedi-Yu, Roberto Dessì, et al.
2023
这篇论文介绍了Toolformer(一个可以自学使用工具的语言模型),并展示了如何用"自监督"方法让模型学会使用计算器、词典、搜索引擎等工具。
影响力:成为LLM使用工具的重要研究。Toolformer被后来许多工具增强LLM(如GPT-4 with Tools)借鉴。
LLaMA: Open and Efficient Foundation Language Models(LLaMA:开放高效的基础语言模型)
Hugo Touvron, Thibaut Lavril, Gautier Izacard, et al.
2023
这篇论文介绍了LLaMA(Meta的70亿-650亿参数语言模型),并展示了如何用公开数据训练出接近GPT-3性能的模型。LLaMA是完全开源的。
影响力:促进了大模型的"民主化"。LLaMA成为后来许多开源模型(如Alpac、Vicuna)的基础。
Falcon: Open Language Models, Robustly Trained(Falcon:开放语言模型,稳健训练)
Ebtesam Almazrouei, Hamza Alobeidli, Abdulaziz Alshamsi, et al.
2023
这篇论文介绍了Falcon(阿联酋技术创新研究所的70亿-400亿参数语言模型),并展示了如何用"精炼"数据训练高性能模型。
影响力:成为开源大模型的重要参考。Falcon在多个基准上接近LLaMA的性能。
MPT: MosaicML Pre-Trained Transformer(MPT:MosaicML预训练Transformer)
MosaicML Team
2023
这篇论文介绍了MPT(MosaicML的70亿-300亿参数语言模型),并展示了如何用"ALiBi位置编码"和"Flash Attention"训练高效的长上下文模型。
影响力:成为开源大模型的重要参考。MPT支持8K上下文长度,适合长文档处理。
RedPajama: An Open Source Instruction Tuning Dataset(RedPajama:一个开源指令微调数据集)
Together Computer Team
2023
这篇论文介绍了RedPajama(一个1.2万亿token的开放数据集),并展示了如何用"复制"LLaMA的数据混合比例来训练开源模型。
影响力:促进了大模型的"数据透明化"。RedPajama被后来许多开源模型(如OpenLLaMA、Replit)采用。
Open Assistant Conversations: Democratizing Large Language Model Alignment(开放助手对话:使大语言模型对齐民主化)
Andreas Köpf, Yannic Kilcher, et al.
2023
这篇论文介绍了Open Assistant(一个开源的对话模型),并展示了如何用"众包"方法收集指令微调数据。这是第一个"社区驱动"的大模型项目。
影响力:促进了大模型的"民主化"。Open Assistant展示了一个小团队如何用有限资源训练对话模型。
The Hundred-Page Machine Learning Book(百页机器学习书)
Andriy Burkov
2019
这本书用约100页的篇幅涵盖了机器学习的核心概念(如线性回归、SVM、决策树、神经网络、强化学习)。书中提供了简洁但准确的解释,适合快速入门。
影响力:成为机器学习领域的"速成"读物,被全球数十万读者阅读。这本书是"少即是多"的典范。

🎊 恭喜!你已经达到了150本书!

这本书是第150本,象征着我们从"萌芽期"走到了"大模型时代"。AI领域还有无数值得阅读的书,但这150本已经为你打下了坚实的基础。

🎉

恭喜!150本书已完成!

你已经按照AI发展的6个阶段,阅读了150本经典著作。从图灵的原始论文到最新的大模型研究,这些书籍涵盖了AI领域的核心知识。

下一步建议:
1. 选择你最感兴趣的1-2个阶段,深入阅读
2. 尝试实现一些经典算法(如GPT-2、ResNet)
3. 关注最新的arXiv论文(cs.AI、cs.LG、cs.CL)
4. 加入AI社区(如Hugging Face、Reddit r/MachineLearning)
5. 开始你自己的AI项目!

🏠 返回首页 📈 AI发展历史

📊 当前进度:阶段1-5(125/125完成)| 阶段6(5/35完成)| 总计:130/150本书

📝

内容正在持续添加中...

当前已完成:阶段1(10/25本书)
后续将添加:
- 阶段1剩余15本书
- 阶段2:第一次寒冬(15本书)
- 阶段3:专家系统时代(25本书)
- 阶段4:机器学习崛起(30本书)
- 阶段5:深度学习突破(30本书)
- 阶段6:大模型时代(35本书)
总计:150+本书