Paul Graham

检测偏见的一种方法

2015年10月

这对很多人来说会是个惊喜，但在某些情况下，可以在不了解申请者池的情况下检测选择过程中的偏见。这令人兴奋，因为除其他外，这意味着第三方可以使用这种技术来检测偏见，无论进行选择的人是否希望他们这样做。

当满足以下条件时，你可以使用这种技术：(a) 你至少有一个被选申请者的随机样本，(b) 他们后续的表现被测量，并且 (c) 你比较的申请者群体有大致相同的能力分布。

它是如何工作的？想想偏见的含义。选择过程对类型x的申请者有偏见意味着他们更难通过。这意味着类型x的申请者必须比非类型x的申请者更优秀才能被选中。[1] 这意味着通过选择过程的类型x申请者将比其他成功的申请者表现更好。如果测量了所有成功申请者的表现，你就会知道他们是否确实如此。

当然，你用来测量表现的测试必须是有效的。特别是，它不能被你试图测量的偏见所失效。但在某些领域，表现是可以测量的，在这些领域检测偏见是直接的。想知道选择过程是否对某种类型的申请者有偏见吗？检查他们是否比其他人表现更好。这不仅仅是检测偏见的启发式方法。这就是偏见的含义。

例如，许多人怀疑风险投资公司对女性创始人有偏见。这很容易检测：在他们的投资组合公司中，有女性创始人的初创公司是否比没有的表现更好？几个月前，一家风险投资公司（几乎肯定是无意的）发表了一项显示这种偏见的研究。第一轮资本发现，在其投资组合公司中，有女性创始人的初创公司比没有的表现高出63%。[2]

我一开始说这种技术会让很多人感到惊讶的原因是，我们很少看到这种类型的分析。我确信第一轮资本会惊讶地发现他们进行了一项。我怀疑那里有人意识到，通过将样本限制在自己的投资组合中，他们产生的不是初创公司趋势的研究，而是他们在选择公司时自身偏见的研究。

我预测我们将来会看到这种技术被更多使用。进行此类研究所需的信息越来越容易获得。关于谁申请某事的数据通常由选择他们的组织严密保护，但如今关于谁被选中的数据通常对任何愿意花力气聚合它的人都是公开可用的。

注释

[1] 如果选择过程从不同类型的申请者中寻找不同的东西，这种技术就不会起作用——例如，如果雇主基于能力雇佣男性，但基于外貌雇佣女性。

[2] 正如Paul Buchheit指出的，第一轮资本将他们最成功的投资Uber排除在研究之外。虽然从某些类型的研究中排除异常值是有道理的，但初创公司投资回报的研究（全部关于命中异常值）并不是其中之一。

感谢Sam Altman、Jessica Livingston和Geoff Ralston阅读本文的草稿。