谷歌翻译的中国基因

本篇文章2516字，读完约6分钟

2004年，谷歌创始人之一谢尔盖布林(sergey brin)利用市场上的在线服务翻译韩国粉丝发来的电子邮件。结果显示:“生鱼片搜索大葱与谷歌的愿望！”因此，谢尔盖认为谷歌可以在这方面做得更好。不久前，谷歌翻译(google Translate)发布了iphone和安卓版本，让用户可以随时使用翻译服务，让跨越语言障碍变得更加容易和方便。手机应用程序可以识别15种语言的语音输入，大声朗读或全屏显示23种语言的翻译结果。

对于非拉丁字母语言，如汉语和日语，应用程序将标记拼音或罗马发音，这便于非母语人士阅读。像谷歌翻译的桌面应用程序一样，移动翻译也可以翻译用58种语言写的单词和短语。

移动翻译设置了一些公共内容的翻译集合，即使没有互联网连接也可以阅读。实时翻译需要通过wifi或移动网络连接到谷歌云才能获得结果。这种产品对许多用户来说非常方便。如果你在国外，不知道如何用外语说一个句子，只需打开程序，在手机上读你想说的话，然后点击“翻译”，手机就可以读出翻译。

基于统计的机器翻译

谷歌翻译产品在世界上只有两个团队，一个在谷歌总部，另一个在中国上海。“谷歌翻译在上海成立，主要是因为有两个人喜欢做翻译，其中一个是阴军(谷歌翻译产品研发负责人，作者注)，他是谷歌上海翻译团队的创始人。通过美国翻译团队的合作，上海的翻译团队越来越大，现在已经达到十几个人的规模。目前，美国总部的翻译团队主要负责后台的平行语料库数据，而上海的翻译团队则负责手机和台式电脑翻译应用的开发。谷歌的创新模式通常是自下而上的。工程师可以在工作中发挥他们的个人兴趣。如果他们取得了成就，他们可能会逐渐发展成为一个团队。”在陈永生看来，上海团队的成立归功于谷歌的创新模式。

目前，大多数商务翻译系统属于基于规则的机器翻译，需要大量的词汇和语法工作。谷歌翻译采用基于统计的机器翻译，这是ibm科学家在1993年提出的，具有划时代的意义。谷歌现在支持58种语言的翻译，翻译团队成员的语言数量远远少于这个数字，这也是统计翻译的魅力所在。统计翻译的具体原则是将大量文本输入计算机，建立覆盖源语言和目标语言的平行语料库，并建立统计翻译模型。这些模型可以帮助谷歌找到源语言和目标语言之间的各种关系，并获得某些单词、短语或文档的最佳翻译结果。对于特定的语言，谷歌分析的翻译文档越多，翻译文本的质量就越高。根据陈永生的说法，谷歌翻译有四个主要步骤:

首先，系统需要将源语言句子分成短语，这是一项复杂的研究。英语单词之间有空格，但汉语句子之间没有。因为统计翻译系统本身不具备理解自然语言的能力，面对“汽水不如果汁”这句话，“比”和“如果”都是可能的划分；其次，不同语系的组织形式差异很大，因此研究者必须分析平行语料库来处理词汇排序问题。平行语料库的分析是一个建模的过程，而翻译是一个使用模型的过程。前者的算法通常比后者更复杂。然后，系统需要区分同一单词的不同形式，如过去时和现在分词，这是一个判断的过程；最后，构成目标语言的单词被合理地连接起来。

目前，谷歌可以翻译58种语言。理论上，它需要对应近3000个平行语料库。事实上，谷歌翻译的语料库要少得多，所以许多语言都是通过“桥接”来翻译的，这是机器翻译中的一项常见技能。例如，法英翻译的质量肯定比法中翻译的质量好。如果满足了法-汉翻译的需要，翻译系统可以采取迂回策略，首先将法语翻译成英语，然后从英语翻译成汉语。例如，在谷歌翻译中很少有关于泰语和希伯来语的平行语料库，但是它们可以提供这两种语言的翻译。根据陈永生的说法，“很有可能，这个遥远的语系的翻译是桥接的。”

“提高翻译质量是一项多管齐下的技术。翻译质量最重要的是收集平行语料库。此外，如果在建模中能够找到更好的匹配算法或分割算法，则双管齐下的效果更好。”陈玉生做了一个巧妙的类比。“平行语料库就像成分。只有材料够好，厨师的手艺够好，加上一些调料，你才能做出美味的菜肴。”

移动翻译:“20%工程”的产物

谷歌有一个20%的项目，允许员工将20%的工作时间花在工作之外的项目上，这样可以开发更多种类的产品。手机翻译可以算作谷歌“20%项目”的产物。

“起初，有几个因素在起作用。第一个是因为每个人都说搬家是未来，我相信这一点。第二，发生了一个小故事——一个同事制作了一个手机网络版的手机翻译并发布了它。因此，我们的流量在此期间呈指数级增长。”这使陈永生认识到移动搜索的巨大市场需求。

他开始在上海R&D中心游说，并询问谁愿意为这个项目做志愿者。朱(谷歌翻译iphone首席工程师，作者注)对手机应用非常感兴趣，他一生之外都在做iphone版本的谷歌翻译的研发，只用了两天时间就制作出了产品的原型。"这就是我们第一款手机翻译产品的诞生过程."说起手机翻译，陈永生的骄傲溢于言表。

上海团队和美国团队对产品的原型都很满意，并为朱分配了额外的人力支持。大约两三个季度之后，朱开发的iphone版谷歌翻译正式发布。一个多星期以来，它一直是世界上排名第一的自由软件。

理论上讲，谷歌可以在电脑端翻译成多种语言，也可以在手机端提供多种语言。实际上，移动翻译提供多少种语言的语音翻译取决于它支持多少种语言的语音识别。语音识别需要巨大的数据源来建立一个好的分辨率模型，这是谷歌已经准备好的。2007年，谷歌开始提供goog-411来处理语音搜索。尽管谷歌411不是谷歌的重要收入来源，但它为R&D员工收集了大量数据，使他们能够不断改进语音识别算法。一年后，谷歌推出了语音搜索，这相当于其他公司几年后建立的类似系统。据谷歌称，这项语音搜索服务为谷歌安卓(google android)和苹果iphone等智能手机平台上的“更雄心勃勃的服务”奠定了基础。例如，搭载froyo软件的安卓用户可以通过语音控制手机的大部分功能，谷歌推出的iphone应用也有内置语音识别功能。

谷歌在2010年10月关闭了这项服务，并在声明中表示，计划将相关资源投入“使下一代谷歌产品和服务能够支持多语言语音的技术”，我们现在看到的语音翻译就是其中一项成就。可以预测，语音识别将成为未来更多谷歌服务的特征。

虽然手机翻译收到的大多数源语言都是口语，但在陈永生看来，这不会对翻译质量产生太大影响。首先，当用户使用语音翻译时，他们通常对他们想说的有一个清晰的理解，所以句子的流畅性与桌面翻译没有太大的不同。其次，当人们使用言语翻译时，说话的方式不同于说话的方式。大多数情况下，句子很短，这对于语音翻译来说并不困难。“它们之间最大的区别在于用户体验。电脑键盘使用起来很方便，而手机键盘很小，所以我们必须想办法方便用户输入源语言。此外，语音翻译的使用环境可能与办公室有很大不同。与英语口语中偶尔出现的停顿和重复相比，外部噪音对翻译质量的影响更大，因此我们必须过滤掉不必要的信息。”

过滤噪音的任务主要由翻译程序完成，R&D的工作人员可以设置一个音量阈值来过滤掉低于这个值的噪音。此外，如果一种语言停顿了，翻译程序可以决定和控制它是作为句子的结尾还是“正在考虑但还没有完成”。此外，“如果用户说错了一两个词，我该怎么办？让它重复或直接修改一两个单词。这些用户体验问题可以通过改进翻译程序来改善。”

陈永生说，“除了之前的语音搜索，谷歌还有很多使用语音功能的产品。在用户使用这些产品的过程中，R&D人员会根据用户反馈不断改进产品的算法。经过一轮迭代，产品质量自然会提高。”然而，谷歌目前的文本翻译系统仍存在许多语法错误，用户对其语音识别技术能否应对各种地方口音有着最深刻的体验。