概述
《The Bitter Lesson》是AI权威学者Rich Sutton于2019年撰写的深刻文章，总结了长达70年的AI研究历史。
核心观点：在AI的多个前沿领域，最终脱颖而出的并非依赖特定领域人类知识的方法，而是能充分利用计算资源的通用算法与技术。
尽管许多研究者倾向于将自身知识注入AI系统以期更快见效，但从长期看，这往往成为技术演进中的障碍。
历史案例：通用方法的胜利
国际象棋：深度搜索的胜利
- IBM的Deep Blue采用大规模、高深度搜索策略，大幅依赖硬件算力
- 当时大多数研究者推崇以棋理为核心的专家系统型方法
- 标准大规模搜索远远优于人类经验主导的方法
- 很多研究者不服气，声称"蛮力搜索"不够普遍，也不是人类下棋的方式
围棋：重复历史的20年延迟版
- 初期大量研究依赖人类特有的棋理、序列模式与自创特征
- AlphaGo将大规模搜索和机器自我对弈学习结合，立刻碾压所有专家系统
- 自我对弈让系统不用依赖人类经验，也能持续提升
- 苦心经营的人类知识层层嵌入，最后证明对突破完全无关紧要，甚至成为阻碍
语音识别
1970年代充满人类知识的方案（音素、发声器官建模）最终败给统计型、大规模计算的隐马尔科夫模型
计算机视觉
起初聚焦特征工程（边缘、SIFT），现在主流完全依赖卷积神经网络，只强调卷积与不变性
两大通用方法
搜索
可随算力无限扩展的通用技术，通过大规模探索解决方案空间来找到最优策略，无需人类预设规则。
学习
能自动从数据中提取模式的方法，随着数据量和算力提升，表现持续进步，摆脱人工特征工程。