《星球Google》 獨步天下的谷歌算法(9)

    應用語言學研究改進了機器翻譯的質量。1968年，專業翻譯公司Systran在巴黎創辦，它將成為為其他公司提供機器翻譯服務的先行者。這家公司由語言學家來解釋複雜的語法。一門語言，又一門語言，公司不斷增加能夠實現雙語互譯的語言的數量，到2005年，已經實現了40對語言之間的互譯。當谷歌打算提供用原文以外的其他語言顯示的Web頁面供用戶浏覽時，它便求助於Systran公司為其後台的機器翻譯提供技術支援，使谷歌的網頁可以根據用戶的具體要求進行動態顯示。當然，各語種之間的翻譯水平並不平衡，在最好的情況下，它也只能轉達源文件中的梗概。符合語言習慣的段落仍舊難以表述。但這個缺陷似乎是機器翻譯與生俱來的：任何算法也不能代替人工翻譯。

    但是，Systran建立在規則基础上的技術只是機器翻譯的一種形式。另外一種不同的方法——IBM的研究者在20世紀90年代展示出其前景的——被稱為統計機器翻譯。它代表了告別以規則為基础的方法而轉向人工智能研究的大趨勢。它不是建立在人工擬定的語言規則基础上，而是建立在由軟體自己開發的翻譯模式基础上。由於軟體接收了數以百萬計的由人工完成的譯文組成的文件——例如在加拿大議會用英語發表的演講及其官方法語譯文。這個軟體註重尋找句型、對比詞匯和短語，從A語言的第一段第一句以及它在B語言的相對應的句子開始。僅僅對照一組文件，推匯出來的結論當然少得可憐。而一旦對照的文件達到數百萬組，那麼一種語言中的句型和短語在目標語言中具體用什麼方式表達，就可以根據統計材料推匯出來。統計機器翻譯是谷歌研究人員在2003年初才開始研究的方法。

    谷歌採用聯合國的多語種文件作為訓練材料，向它的算法輸入了2000億個單詞並讓這個軟體算出了每一對語言之間配對的句型。這個結果是顯而易見的。谷歌的說英語的程序員雖然不具備閱讀漢語或阿拉伯語的能力，也根本不懂漢語或阿拉伯語的語音、語義或語法，但他們卻設計出了一個能夠自學的算法，它可以提供準確的、有時甚至是相當流利的譯文。在2005年的一次會議上，谷歌第一次公開地讨論了它所進行的工作。為了證明統計機器翻譯能夠處理足夠大量的翻譯文本資料，特意用阿拉伯語報紙上的一段新聞提要的兩種英文譯本進行了演示。第一種譯文由以規則為基础的Systran軟體提供，它將那段阿拉伯文顯示為“阿爾卑斯山白色的新出場的磁帶註冊為咖啡批準拉登”；第二個來自谷歌剛剛問世的程序，它顯示了一段完全不同的譯文：“白宮證實有新的本•拉登磁帶存在。”

    谷歌的翻譯算法在記者招待會這類有人監控的場合表現似乎令人印象深刻，證明它在獨立的測試中也站得住腳。的確，它的表現非常之好。2005年，谷歌第一次參加由國家標準與技術研究所主辦的機器翻譯軟體年度競賽，這個賽事吸引了來自大學、公司、政府實驗室和商業軟體制造業的研究人員。谷歌在有11個入選者參加的阿（阿拉伯語）譯英比賽中名列第一（IBM名列第三，Systran名列第七），在有16個參賽者的漢譯英比賽中也名列第一（IBM名列第六，Systran名列第十二）。這對一個新手來說是個不錯的成績。

    在這次比賽中，基本的測量手段是將機器制作的譯文同被視為“黃金標準”的人類翻譯家提供的參考譯文進行比照。從0到1的得分情況表明機器翻譯與人工翻譯的吻合度——1表示完全吻合。分數是一個最直接的計算問題，它由評估軟體自動完成，減少了人工評判的主觀性。同樣的軟體也曾被用在比賽之外。研究人員可以對算法進行微調，將測試文件輸進去，馬上就可以看到，在翻譯質量可測量的改進中，結果是否發生了變化。

    谷歌不僅利用雙語平行文本建立了一種翻譯模式，它還用軟體創造了單語種的“語言模式”，對由翻譯模式制作的任何譯文進行潤色，使之更加流畅。“算法”在大量具備專業水準的文獻中尋找句型，進而教會自己識別哪些是地道的英語表達方式。恰巧，谷歌已經在它的伺服器中使用了一個這種類型的文集——由“谷歌新聞”所檢索的報道。即使“谷歌新聞”的用戶總是被導向新聞機構的Web網頁，但谷歌仍將貯存的新聞副本饋送給它自己的算法。人們偶然發現，這個經專業手法潤色的文本寶庫——截至2007年4月已經收集了5億字——是個使用起來極其方便的訓練用文集，絕對適合於教會機器流畅地使用英語。

本文摘自《我們的生活將怎樣被一家公司彻底改變》

---

　　 在《星球Google:我們的生活將怎樣被一家公司彻底改變》中，他將帶領讀者深入谷歌公司內部，讓人們對互聯網時代這家最重要、最富創新性、最有抱負的公司有一個透彻的了解。他將向人們解析公司近年來排山倒海式的大踏步前進背後所隐藏的發展戰略，向人們揭示公司特立獨行的事業規劃——成為全世界所有信息的不可或缺的看守者，成為我們查找任何信息時的一站式目的地。谷歌能成功嗎？一家掌握著如此之多的信息並因而對我們每個人了解得如此之多的公司究竟意味著什麼？