我被"人工智能助力科学"的炒作给骗了

摘要

作者分享了自己在普林斯顿大学攻读博士期间，将AI应用于等离子体物理研究的失望经历。他发现被广泛引用的物理信息神经网络（PINN）方法实际上脆弱且不可靠，而声称AI比传统方法快百万倍的论文大多使用了薄弱基线进行不公平比较。通过系统性综述，作者发现79%的论文存在基线薄弱问题，且负面结果很少被发表，导致严重的幸存者偏差。作者警告，AI在科学领域的整体潜力被夸大了，它更可能是一个用于渐进式、不均衡科学进步的普通工具，而非革命性力量。

内容框架与概述

文章开篇介绍了作者在2018年决定转向机器学习研究的背景，当时他对AI能够加速物理研究持乐观态度。作者选择了用AI求解偏微分方程这一热门领域，特别是物理信息神经网络（PINN）方法。然而，当他尝试将PINN应用于简单的偏微分方程时，发现结果出乎意料地糟糕，即使经过大量调整也无法得到令人满意的解。

接着作者深入分析了PINN失败的根源：最初发表PINN论文的作者只展示成功的例子，隐藏了失败的案例。这种选择性报告导致整个领域存在严重的幸存者偏差。作者还发现，尽管PINN论文已获得14000次引用，但其方法在求解偏微分方程方面通常不如标准数值方法具有竞争力。

作者进一步扩展视野，发现类似问题在整个"AI助力科学"领域普遍存在。他列举了DeepMind声称发现220万种晶体结构但被证明"大部分是垃圾"的案例，以及普林斯顿学者整理的648篇存在数据泄露问题的论文。这些发现表明，基于AI的科学正面临一场可重复性危机。

最后，作者反思了自己从乐观到怀疑的心路历程，提出了三个关键教训：AI在科学中的应用爆炸式增长更多是因为它对科学家自身有利而非对科学有利；由于负面结果很少发表，该领域存在严重幸存者偏差；发表的正面结果往往对AI潜力过于乐观。作者认为，除非在先进AI方面取得重大突破，否则AI更像是一个用于渐进式进步的普通工具，而非革命性力量。

核心概念及解读

物理信息神经网络（PINN）：一种将偏微分方程放入损失函数中的深度学习方法，看似简单优雅且通用，但实际应用中表现出脆弱、挑剔和缓慢的特点，在许多偏微分方程求解任务上不如传统数值方法。

幸存者偏差：由于AI研究人员几乎从不发表负面结果，只展示成功的案例，导致领域内对AI能力的认知被严重扭曲，读者只能看到被筛选过的"成功故事"。

薄弱基线：许多声称AI方法优于传统数值方法的论文，通过与过时或非最优的基线方法进行比较来获得"加速效果"，当与最先进的数值方法在同等条件下比较时，AI的优势通常会消失。

报告偏差：研究人员倾向于不报告负面结果的倾向，这导致科学文献中AI方法的表现被系统性高估，负面结果很少被发表和传播。

可重复性危机：基于AI的科学研究所面临的方法论问题，包括数据泄露、薄弱基线比较和选择性报告等，这些问题的普遍存在威胁到科学研究的可靠性和可信度。

原文信息

此摘要卡片由 AI 自动生成