科學(xué)最重要的原則之一是再現(xiàn)性原則，當(dāng)一個(gè)科學(xué)結(jié)果被報(bào)道出來(lái)時(shí)，我們?cè)趺粗浪强筛爬?，而不僅僅是偶然或者一時(shí)的僥幸，甚至可能僅僅是執(zhí)行科學(xué)過(guò)程中所犯錯(cuò)誤的結(jié)果?如果有可能再現(xiàn)科學(xué)，我們就能對(duì)結(jié)果有更大的信心。可再現(xiàn)性由幾個(gè)因素組成，其中可能最重要的是，當(dāng)復(fù)制時(shí)所做的努力將獨(dú)立地獲得相同或類(lèi)似的結(jié)果。

假設(shè)我聲稱(chēng)發(fā)明了一臺(tái)永動(dòng)機(jī)，并且在我的實(shí)驗(yàn)室里演示了它，但這結(jié)果只有我自己或者一些實(shí)驗(yàn)室助理知道，我會(huì)想要告訴世界這個(gè)驚人的突破。世界上的其他人可能會(huì)非常高興，因?yàn)樗麄兘K于發(fā)明了一臺(tái)永久運(yùn)動(dòng)的機(jī)器，想看它會(huì)怎樣改變世界。其他試圖設(shè)計(jì)永動(dòng)機(jī)的人也很興奮，但也有些質(zhì)疑，因?yàn)樗麄冏约簾o(wú)法實(shí)現(xiàn)同樣的結(jié)果。自然，他們會(huì)想知道這臺(tái)永動(dòng)機(jī)是如何工作的，他們也想嘗試在自己的實(shí)驗(yàn)室里復(fù)制它。

然后我可能會(huì)在我自己的實(shí)驗(yàn)室里重現(xiàn)這一成果，然后我會(huì)說(shuō)這是真的，它確實(shí)有效，但是，你相信它真的起作用了嗎?請(qǐng)注意，重現(xiàn)性不是獨(dú)立進(jìn)行的，相反，同一名研究人員或開(kāi)發(fā)人員只是聲稱(chēng)他們能夠再現(xiàn)結(jié)果。他們的態(tài)度可能是非常真誠(chéng)的，他們相信他們復(fù)制的結(jié)果，但是世界上的其他人還不知道這到底是不是真的，或者說(shuō)又是一次的不幸錯(cuò)誤，或者是試圖欺騙世界，讓它相信一些根本不真實(shí)的事情，下面就給分享一個(gè)案例。

冷聚變的事例

冷聚變就是現(xiàn)在最經(jīng)典的案例，相信現(xiàn)在那些80年代末的人，或者研究過(guò)科學(xué)史的人，可能知道，1989年猶他大學(xué)有兩位化學(xué)家聲稱(chēng)他們能夠產(chǎn)生冷核聚變?；瘜W(xué)家斯坦利·龐斯(StanleyPons)和馬丁·弗萊施曼(MartinFlischmann)說(shuō)，他們產(chǎn)生了過(guò)多的熱量，這些熱量就是核反應(yīng)的結(jié)果，這是一種微小的核反應(yīng)。所使用的設(shè)備相對(duì)便宜，易于組裝，幾乎可以在自己的后院做什么。它成為當(dāng)年最大的新聞事件之一，并被認(rèn)為是一個(gè)令人難以置信的突破。

有人試過(guò)復(fù)制冷聚變嗎?

世界各地的科學(xué)家們開(kāi)始變得忙碌，想要看他們是否也能實(shí)現(xiàn)冷聚變。一些人這樣做是為了證明猶他州的科學(xué)家是正確的，并且為這一發(fā)現(xiàn)提供有力的證據(jù)。其他人這樣做是為了反駁猶他州的說(shuō)法，并確保世界不會(huì)被誤導(dǎo)。有些人這樣做只是出于好奇它是如何工作的，以及它可能會(huì)給我們帶來(lái)什么。

不幸的是，關(guān)于猶他州的科學(xué)家們是如何取得這一結(jié)果的，很多細(xì)節(jié)都是保密的，因此很難嘗試和復(fù)制。越來(lái)越多的人說(shuō)它不能被復(fù)制，而那些說(shuō)他們能夠復(fù)制它的少數(shù)幾個(gè)人后來(lái)被問(wèn)題困擾，并且后來(lái)在原著中也發(fā)現(xiàn)了各種錯(cuò)誤的來(lái)源，這使冷聚變更加黯然失色。當(dāng)表明由于所謂的冷聚變沒(méi)有檢測(cè)到任何核反應(yīng)副產(chǎn)物時(shí)，就發(fā)生了真正的致命一擊(如果冷聚變像聲稱(chēng)的那樣起作用的話(huà)，副產(chǎn)物就應(yīng)該出現(xiàn)了)。

因?yàn)檫€沒(méi)有人真正地復(fù)制冷聚變本身，所以它現(xiàn)在被一些人認(rèn)為是未經(jīng)證實(shí)的、不可靠的、臭名昭著的科學(xué)作品。

也許這種冷聚變是一種畸變，我們不應(yīng)該把注意力集中在一個(gè)涉及科學(xué)重現(xiàn)性的孤立事件上。在這種情況下，你可以參考2015年著名雜志“科學(xué)”(Science)上的一篇文章，這篇文章提供了一項(xiàng)由獨(dú)立科學(xué)家進(jìn)行的研究，這些科學(xué)家試圖復(fù)制心理學(xué)領(lǐng)域100項(xiàng)最著名研究的成果。根據(jù)他們的獨(dú)立研究，他們只能成功地復(fù)制約39%的研究成果，有各種類(lèi)似的研究，試圖復(fù)制其他知名和公認(rèn)的科學(xué)研究，但無(wú)法完全這樣做。

請(qǐng)不要因?yàn)槌霈F(xiàn)這樣的結(jié)果就把所有能夠復(fù)制的研究當(dāng)做假的，你必須重新審視這種心態(tài)，因?yàn)樗谶@里沒(méi)有任何意義。有很多的科學(xué)是完全真實(shí)的，而其中有些是能夠被復(fù)制的，有些是沒(méi)有被復(fù)制的，對(duì)于沒(méi)有被復(fù)制的部分，你不能得出結(jié)論它是無(wú)效的，你只能說(shuō)那是你沒(méi)有能力復(fù)制的。

這也可能產(chǎn)生誤導(dǎo)，因?yàn)橥ǔＧ闆r下，同一種研究并沒(méi)有被具體地復(fù)制出來(lái)，而是有其他的研究建立在原始研究的結(jié)果之上。因此，您可以斷言，如果這些擴(kuò)展是基于原始無(wú)效的核心，那么超出原始研究范圍的擴(kuò)展應(yīng)該是無(wú)效的。如果擴(kuò)展研究是有效的并且被復(fù)制，你可以斷言原來(lái)的核心是有效的。

為什么不是每一項(xiàng)科學(xué)工作都具有可重復(fù)性?

這是一個(gè)簡(jiǎn)單的答案，沒(méi)有太多的動(dòng)機(jī)去做重復(fù)性研究。作為一名科學(xué)家，衡量你的標(biāo)準(zhǔn)通常是你創(chuàng)造了多少新科學(xué)，把你的時(shí)間花在簡(jiǎn)單地復(fù)制別人的工作上不會(huì)給你帶來(lái)多少好處。如果你展示的原創(chuàng)作品是有效的，然而你并沒(méi)有開(kāi)拓新的領(lǐng)域，只是增加了原來(lái)的作品是新穎和健全的信息。而一旦你展示的原來(lái)的作品是無(wú)效的，很有可能你會(huì)立即受到原來(lái)的研究人員和其他人的攻擊，他們相信原始的努力是合理的，除非其他人加入你的工作無(wú)效性質(zhì)的潮流，否則你很可能是科學(xué)界的棄兒。

像冷聚變這樣的情況是不尋常的，因?yàn)槿魏瘟钊穗y以置信的突破都會(huì)立即引起強(qiáng)大力量的注意，無(wú)論是支持力量還是反對(duì)力量。沒(méi)有什么比這更讓人不安和激勵(lì)的了，如果你的科學(xué)生涯中大部分時(shí)間都在試圖制造一臺(tái)永動(dòng)機(jī)，但沒(méi)有成功，然后有人聲稱(chēng)他們這么做了，你就會(huì)把全部精力投入到想要證明他們是錯(cuò)的上面，因?yàn)槟阈量嗔怂氖隂](méi)做到，他們卻能做到，所以你認(rèn)為他們的說(shuō)法一定是假的。也許你會(huì)因?yàn)樽C明它是錯(cuò)誤的而聲名狼藉，或者你證明的他的錯(cuò)誤，讓那些說(shuō)你浪費(fèi)了40年時(shí)間的人閉嘴。

這種可重復(fù)性如何適用于人工智能汽車(chē)?

在控制論自動(dòng)駕駛汽車(chē)研究所，我們敦促汽車(chē)制造商和科技公司盡最大努力提供他們正在進(jìn)行的人工智能汽車(chē)的努力，特別是敦促學(xué)術(shù)研究人員和商業(yè)研究機(jī)構(gòu)公布他們的努力的細(xì)節(jié)，以便可以全面地進(jìn)行某種形式的再現(xiàn)性。

在這個(gè)節(jié)骨眼上，AI自動(dòng)駕駛汽車(chē)領(lǐng)域幾乎沒(méi)有可再現(xiàn)性發(fā)生。大多數(shù)人工智能開(kāi)發(fā)人員在自動(dòng)駕駛汽車(chē)中的工作要么被認(rèn)為是專(zhuān)有的，而且沒(méi)有公開(kāi)披露，要么就是工作太忙，以至于他們沒(méi)有時(shí)間“浪費(fèi)”在做可再現(xiàn)性上。

對(duì)于汽車(chē)制造商和科技公司來(lái)說(shuō)，是否展示其人工智能系統(tǒng)的內(nèi)部結(jié)構(gòu)是一個(gè)艱難的決定。這些公司中的每一家都在花費(fèi)數(shù)百萬(wàn)美元開(kāi)發(fā)人工智能汽車(chē)的能力，他們?yōu)槭裁匆阉唤o任何想要它的人呢?他們所做的事情的所有權(quán)性質(zhì)為他們的公司創(chuàng)造了巨大的價(jià)值，他們理應(yīng)能夠從他們所做的巨大投資中尋求回報(bào)。

我這么說(shuō)是因?yàn)橛幸恍┤斯ぶ悄荛_(kāi)發(fā)人員在譴責(zé)這些公司的隱秘性質(zhì)。但是，誰(shuí)又能責(zé)怪那些作出如此巨大投資的公司呢?可以說(shuō)，這是一場(chǎng)看誰(shuí)先登上月球的競(jìng)賽，而這些私人實(shí)體正在押注農(nóng)場(chǎng)能到達(dá)月球。對(duì)他們來(lái)說(shuō)，簡(jiǎn)單地分發(fā)他們的秘密調(diào)料是不合邏輯的，人工智能汽車(chē)領(lǐng)域的知識(shí)產(chǎn)權(quán)是王道。

另一方面，我們的論點(diǎn)是，如果他們各自獨(dú)立地發(fā)展各自的人工智能汽車(chē)能力，如果沒(méi)有一些方法讓其他人獨(dú)立驗(yàn)證他們?cè)谧鍪裁?，我們?cè)趺茨軡M(mǎn)足于這些自動(dòng)駕駛汽車(chē)將在我們的公共道路上做的事情是安全的呢?

有些人認(rèn)為，為了讓這些人工智能汽車(chē)進(jìn)入公共道路，汽車(chē)制造商和科技公司應(yīng)該被迫打開(kāi)和服。如果他們想要我們的道路進(jìn)行測(cè)試，他們需要分享他們所擁有的。否則，就離開(kāi)了我們的道路。相反的觀點(diǎn)是，如果汽車(chē)制造商和科技公司只需要使用私人試驗(yàn)場(chǎng)，甚至是政府資助的試驗(yàn)場(chǎng)，我們可能永遠(yuǎn)看不到真正的自動(dòng)駕駛汽車(chē)。自動(dòng)駕駛汽車(chē)在提供場(chǎng)地上所能獲得的自動(dòng)駕駛汽車(chē)經(jīng)驗(yàn)，被認(rèn)為是日常駕駛現(xiàn)實(shí)世界中所能獲得經(jīng)驗(yàn)的一小部分。這是典型的瘋狂的欲望，新的創(chuàng)新，正在權(quán)衡的成本，以達(dá)到這一目標(biāo)。

學(xué)術(shù)研究可再現(xiàn)性

甚至學(xué)術(shù)的人工智能研究人員也被指責(zé)對(duì)他們的研究成果透露得不夠及時(shí)，對(duì)于機(jī)器學(xué)習(xí)的許多研究和神經(jīng)網(wǎng)絡(luò)的使用，經(jīng)常有人聲稱(chēng)在能夠進(jìn)行視覺(jué)識(shí)別或語(yǔ)音識(shí)別等方面取得了令人難以置信的突破，然而實(shí)際的神經(jīng)網(wǎng)絡(luò)卻沒(méi)有提供給其他任何人來(lái)嘗試和獨(dú)立驗(yàn)證。我們是否要從表面上看研究人員所報(bào)告的一切?

有時(shí)，研究人員會(huì)指出，他們的研究成果發(fā)表在同行評(píng)審期刊上。這些研究人員隨后斷言，這樣做表明，他們的工作必須是有效的。還沒(méi)那么快。對(duì)于大多數(shù)同行評(píng)審來(lái)說(shuō)，同行并不是在試圖真實(shí)地再現(xiàn)他們正在評(píng)審的研究結(jié)果。相反，同行評(píng)審員應(yīng)該檢查這項(xiàng)研究，并試圖根據(jù)研究人員提供的資料來(lái)確定研究結(jié)果是否合理和有效。同行評(píng)審員是該領(lǐng)域的專(zhuān)家，他們擁有大量的知識(shí)，可以幫助判斷研究的性質(zhì)和結(jié)果是否可信。但是，在同意是否接受該研究發(fā)表之前，他們幾乎從來(lái)沒(méi)有做過(guò)真正的重復(fù)性研究。

有研究表明，同行評(píng)審并不一定像人們想象或希望的那樣嚴(yán)格，同行評(píng)議者往往存在固有的偏見(jiàn)。假設(shè)普遍的看法是世界是平的。假設(shè)你是地球平坦領(lǐng)域的專(zhuān)家。你會(huì)得到一項(xiàng)研究，進(jìn)一步支持世界是平的，你拒絕的幾率很低。假設(shè)你得到一份研究報(bào)告，說(shuō)地球是圓的。你可能會(huì)拒絕它，因?yàn)閿嘌宰髡唢@然沒(méi)有意識(shí)到接受地球是平的。然后就這樣了。我并不是說(shuō)所有同行評(píng)審員都應(yīng)該用同樣的筆刷來(lái)描繪，我想強(qiáng)調(diào)的是，許多同行評(píng)審員做得很出色，并且在他們這樣做的時(shí)候盡量保持公正。

對(duì)“同行審評(píng)”主體的研究也往往表明，同行審查員往往不是不擅長(zhǎng)分析科學(xué)研究中發(fā)現(xiàn)的統(tǒng)計(jì)數(shù)據(jù)，就是不花時(shí)間評(píng)估所使用的統(tǒng)計(jì)數(shù)據(jù)。這意味著，一項(xiàng)科學(xué)研究可以免費(fèi)獲得他們?nèi)绾巫鼋y(tǒng)計(jì)的通行證，這也可能意味著結(jié)果在統(tǒng)計(jì)上沒(méi)有顯著性，因此可以被認(rèn)為是有問(wèn)題的，甚至可能是無(wú)效的。事實(shí)上，有一個(gè)名為Statcheck的程序是由蒂爾堡大學(xué)制作的，該程序旨在分析科學(xué)研究中使用的統(tǒng)計(jì)數(shù)據(jù)，然后能夠在如何使用這些統(tǒng)計(jì)數(shù)據(jù)時(shí)發(fā)現(xiàn)潛在的錯(cuò)誤，這引起了爭(zhēng)議，包括有時(shí)評(píng)估結(jié)果被公布在網(wǎng)上，卻不允許原始作者反駁正在發(fā)布的內(nèi)容。

對(duì)于人工智能汽車(chē)，有一些初步的努力，以走開(kāi)放源代碼的路線與人工智能系統(tǒng)組件，包括張貼源代碼和神經(jīng)網(wǎng)絡(luò)模型正在使用。一般來(lái)說(shuō)，這些并不是全部的努力，而且通常更多的是對(duì)正在發(fā)生的事情的縮減版本。同樣，你也很難責(zé)怪汽車(chē)制造商和科技公司不想走人工智能汽車(chē)的開(kāi)源之路。