在叙述弗兰克福特的思路前，我们可以补充一点背景。在20世纪30年代以前，美国政府和法院对工会运动长期抱敌视态度，直到罗斯福新政期间，1935年的《瓦格纳法》采取了新的政策。该法设立了全国劳工关系委员会裁决有关的劳动争议，该委员会由一些对劳工组织充满同情的人组成。[19] 为了限制司法审查的权力，该法规定，“全国劳工关系委员会对事实的认定，如果有证据支持，就应当予以采信”。在此形势下，法院对委员会的裁决表现出相当的顺从。

　　弗兰克福特认为，公允地讲，联邦最高法院在实践中并没有完全拘泥于字面含义，只要发现有一丁点证据支持就维持委员会的裁决。相反，最高法院把这里的“证据”解释为“实质性证据”[20]；认为委员会对事实的认定，应当是一个通情达理的人能够接受[21]；法院审查委员会对事实的认定，应当象对待一个陪审团的裁决，如果发现有明显错误（而不是仅仅有疑点），也可以推翻。[22] 但总的来说，法院对事实问题的审查标准是很低的。[23] 而且，在司法实践中，法院倾向于孤立地看待案件证据。有时法院搜寻全案材料寻找对委员会有利的证据，只要发现有证据支持委员会的结论，就维持委员会的结论。[24]

　　法院的消极态度引发了强烈的批评，有人指责法院随便使用传闻和意见，以情绪性的想象代替对事实的证明，有人批评法院推卸职责。虽然这些批评未必都有根据，但主张改革的舆论环境已经不容忽视。在此情况下，检察总长任命了以Dean Acheson为首的一个委员会对联邦政府的行政过程进行调研。1941年，该委员会提出了最终报告。报告指出，对司法审查标准的不满很大程度上来自对行政机关事实认定过程的不满。但是，报告不主张取消“实质性证据”的标准，因为它可能会导致不必要的混乱，或者导致法院对证据进行全面审查。报告认为当前主要问题是有关实质性证据的主流见解偏狭，只考虑能够支持行政裁决的证据，而忽视了相反证据的存在。他们的建议是，确定几条普遍适用的司法审查准则。其中之一就是，法院应当在“全面考虑案件记录”的基础上，审查行政机关对事实的认定是否有实质性证据的支持。“全面考虑案件记录”这一术语就是在这份报告中第一次出现。

　　这种行政改革的意识也反映在《联邦行政程序法》和《塔夫脱－哈特莱法》的制定过程。1946年《联邦行政程序法》对事实问题的司法审查标准虽然在法律条文中没有明确的意见（只规定实质性证据标准），但立法过程仍然透露了一种倾向。法案的提出者一方面表示肯定盛行的实质性证据标准，另一方面明确反对法院以自己的观点代替行政机关的观点。国会两院的委员会报告也都提到行政机关在实践中依赖“怀疑、猜测、附会和完全不可信的证据”，并暗示法院应当在行使独立判断时全面考虑案件记录，适用更加严格的审查标准。1947年制定《塔夫脱－哈特莱法》的过程，同样显示了对行政机关过于偏狭地理解实质性证据标准的不满。参议院的委员会报告称，法案最终还是决定沿用《联邦行政程序法》规定的实质性证据标准；但是，“为了澄清该法中可能存在的疑问”，该委员会加入了“全面考虑案件记录”的表述。