編者按：現(xiàn)有的神經(jīng)機(jī)器翻譯模型大多直接從源文本中逐字翻譯，翻譯后的文本略有機(jī)器翻譯的感覺(jué)。受人工翻譯過(guò)程等領(lǐng)域基于模板和基于語(yǔ)法的方法的啟發(fā)，微軟亞洲研究院提出了一種方法ST-NMT，以從語(yǔ)法樹(shù)結(jié)構(gòu)中提取的模板作為軟目標(biāo)模板來(lái)指導(dǎo)翻譯過(guò)程。實(shí)驗(yàn)表明，ST-NMT模型在漢英、英德、日媒的多個(gè)翻譯任務(wù)上明顯優(yōu)于基線模型，證明了軟目標(biāo)模板的有效性。

盡管近年來(lái)神經(jīng)機(jī)器翻譯 (NMT) 取得了很大進(jìn)展，但大多數(shù)神經(jīng)機(jī)器翻譯模型直接從源文本生成翻譯。受基于模板和基于語(yǔ)法的方法在人工翻譯過(guò)程等領(lǐng)域的成功啟發(fā)，我們提出了一種方法，使用從語(yǔ)法樹(shù)結(jié)構(gòu)中提取的模板作為軟目標(biāo)模板來(lái)指導(dǎo)翻譯過(guò)程。為了學(xué)習(xí)目標(biāo)句的句法結(jié)構(gòu)，我們使用語(yǔ)法分析樹(shù)生成候選模板，將模板信息合并到編碼器-解碼器框架中，并使用模板和源文本生成翻譯。實(shí)驗(yàn)表明，我們的模型在四個(gè)數(shù)據(jù)集上明顯優(yōu)于基線模型，

軟模板預(yù)測(cè)

近年來(lái)，神經(jīng)機(jī)器翻譯取得了很大進(jìn)展，但傳統(tǒng)的神經(jīng)機(jī)器翻譯模型一般直接將源語(yǔ)言文本翻譯成目標(biāo)語(yǔ)言文本。但實(shí)際上我們知道，在翻譯一個(gè)句子時(shí)，人類通常首先對(duì)目標(biāo)文本的句型或結(jié)構(gòu)有一個(gè)大概的了解，然后將源語(yǔ)言文本翻譯成目標(biāo)語(yǔ)言文本，而不是直接翻譯它逐詞地。

通常我們?cè)谧鲈炀溆?xùn)練的時(shí)候，老師會(huì)先教我們一些句型，比如“sb. like do sth; There be...”等等，然后讓我們做練習(xí)。下圖為漢英翻譯培訓(xùn)教材內(nèi)容。需要按照以下句型將中文翻譯成英文。

圖一：漢英翻譯培訓(xùn)教材內(nèi)容

受人工翻譯過(guò)程的啟發(fā)，我們提出了一種方法，使用從句法分析樹(shù)中提取的模板作為軟目標(biāo)語(yǔ)言模板來(lái)指導(dǎo)翻譯過(guò)程。為了學(xué)習(xí)目標(biāo)句的句法結(jié)構(gòu)，我們使用句法分析樹(shù)來(lái)生成候選模板。如圖 2 所示，我們首先根據(jù)源語(yǔ)言文本預(yù)測(cè)要使用的目標(biāo)語(yǔ)言的模板。在這里，“我喜歡打籃球”，很容易想到句型“sb. like doing sth”，然后我們使用源語(yǔ)言和模板生成翻譯。

圖 2：使用軟目標(biāo)模板指導(dǎo)翻譯過(guò)程的示例

基于這個(gè)核心思想以及模板方法在機(jī)器文摘、問(wèn)答等文本中的成功。我們假設(shè)目標(biāo)句子的候選模板可以指導(dǎo)句子翻譯過(guò)程。我們使用這些從句法分析樹(shù)中提取的模板作為軟模板，由帶有句子結(jié)構(gòu)信息的 S、NP、VP 和目標(biāo)語(yǔ)言組成。這里的模板是“軟”的，因?yàn)槲覀儾粡?qiáng)制完全根據(jù)模板生成目標(biāo)語(yǔ)言翻譯。這里的模板僅提供參考，為翻譯提供一些幫助。

為了更有效地使用軟模板，我們?cè)谀繕?biāo)語(yǔ)言中引入了基于軟模板的神經(jīng)機(jī)器翻譯模型（Soft Template-based NMT在讀證明德語(yǔ)翻譯 模板，ST-NMT），可以使用源文本和軟模板來(lái)預(yù)測(cè)*終翻譯. 我們的方法可以分為兩個(gè)階段。第一階段，利用源文本和從句法分析樹(shù)中提取的模板，訓(xùn)練一個(gè)標(biāo)準(zhǔn)的Transformer模型在讀證明德語(yǔ)翻譯 模板，專門(mén)預(yù)測(cè)軟目標(biāo)模板。在第二階段，我們使用兩種編碼器，包括軟目標(biāo)模板編碼器和源語(yǔ)言編碼器，對(duì)源文本和模板進(jìn)行編碼并生成*終翻譯。

目標(biāo)軟模板預(yù)測(cè)

圖 3：從分析樹(shù)中提取模板

在這個(gè)過(guò)程中，通過(guò)使用源語(yǔ)言 S 和模板 T 數(shù)據(jù)，我們對(duì) P(T|X) 進(jìn)行建模，以便我們可以根據(jù)源語(yǔ)言預(yù)測(cè)模板。為了構(gòu)建源語(yǔ)言-模板數(shù)據(jù)集，我們使用句法分析樹(shù)來(lái)解析目標(biāo)語(yǔ)言文本并獲得樹(shù)結(jié)構(gòu)。然后，我們對(duì)超過(guò)一定深度的節(jié)點(diǎn)進(jìn)行裁剪，將裁剪后的子樹(shù)按照原來(lái)的順序恢復(fù)，得到模板數(shù)據(jù)。通過(guò)這些操作，我們得到了源語(yǔ)言-模板并行訓(xùn)練數(shù)據(jù)，訓(xùn)練了Transformer模型P(T|X)來(lái)預(yù)測(cè)軟目標(biāo)模板。

語(yǔ)法分析樹(shù)可以顯示整個(gè)句子的結(jié)構(gòu)和語(yǔ)法信息，并使用語(yǔ)法來(lái)區(qū)分終端節(jié)點(diǎn)和非終端節(jié)點(diǎn)。更準(zhǔn)確地說(shuō)，非終端節(jié)點(diǎn)屬于非終端節(jié)點(diǎn)集S，終端節(jié)點(diǎn)屬于目標(biāo)語(yǔ)言節(jié)點(diǎn)集V。 S={V, VP, NP, ..., ASBR} 等記號(hào)表示語(yǔ)法成分和 V={There, are, ..., people} 包含目標(biāo)語(yǔ)言單詞。如圖2所示，句子“Someone is running”通過(guò)語(yǔ)法解析樹(shù)生成樹(shù)結(jié)構(gòu)。在這種情況下，非終端節(jié)點(diǎn)集S0={S, NP, VP, EX, VBP, NP, DT, NNS, VBG}，終端節(jié)點(diǎn)集V0={There, are, some, people, running}。我們的模板 T={t1, t2, t3, t4} 是一個(gè)由終端節(jié)點(diǎn)和非終端節(jié)點(diǎn)組成的有序序列。在這種情況下，t1=那里，t2=是，t3=VP，t4=NP。我們的模板就是提取一個(gè)特定深度的子樹(shù)，利用子樹(shù)葉子節(jié)點(diǎn)上的終端節(jié)點(diǎn)和非終端節(jié)點(diǎn)來(lái)生成模板。

為了預(yù)測(cè)軟目標(biāo)模板，我們根據(jù)源文本和提取模板的訓(xùn)練數(shù)據(jù)訓(xùn)練一個(gè) Transformer 模型。Transformer 模型讀取源文本并使用波束搜索來(lái)預(yù)測(cè)軟目標(biāo)模板。然后，我們選擇捆綁搜索的前 K 個(gè)結(jié)果作為模板。

選擇子樹(shù)的深度是一種權(quán)衡。圖3中，當(dāng)深度等于1時(shí)，屬于特例，此時(shí)模板只有一個(gè)符號(hào)S。模板 S 不能提供任何有用的信息。另一個(gè)特殊情況是當(dāng)深度大于6時(shí)，“有人在跑”，此時(shí)模板只有終端節(jié)點(diǎn)。模板僅包含目標(biāo)語(yǔ)言的單詞，不能提供任何其他信息。當(dāng)深度等于4時(shí)，模板為“有VP NP”。該模板包含句子句法和結(jié)構(gòu)信息，適用于我們的方法。

使用Transformer模型P(T|X)，我們需要構(gòu)造偽訓(xùn)練數(shù)據(jù)（源語(yǔ)言文本、目標(biāo)語(yǔ)言文本、目標(biāo)軟模板），而不是直接通過(guò)解析樹(shù)提取的模板。給定源文本 X，我們使用 P(T|X) 通過(guò)波束搜索生成排名靠前的目標(biāo)語(yǔ)言軟模板 T。*后，我們得到三元組訓(xùn)練數(shù)據(jù)（源語(yǔ)言文本、目標(biāo)語(yǔ)言文本、軟模板），為下一階段做準(zhǔn)備。

ST-NMT模型

我們的模型首先使用源語(yǔ)言 Transformer 編碼器讀取源語(yǔ)言序列 X=(x1, x2, x3, ..., xn) 并生成模板序列 T=(t1, t2, t3, ..., tm)由模板 Transformer 解碼器提供。如圖 3 所示，我們的模型使用源語(yǔ)言 Transformer 編碼器和模板 Transformer 編碼器分別對(duì)源語(yǔ)言序列 X 和模板序列 T 進(jìn)行編碼，*終解碼器生成*終翻譯。我們的方法主要包括兩個(gè)階段：（1）訓(xùn)練數(shù)據(jù)由基于選擇的解析樹(shù)構(gòu)建。然后，我們使用標(biāo)準(zhǔn)的Transformer將源文本轉(zhuǎn)換為下一代軟目標(biāo)模板。（2）基于對(duì)于源文本和預(yù)測(cè)的軟目標(biāo)模板，我們使用兩個(gè)編碼器將兩個(gè)序列編碼成一個(gè)隱藏狀態(tài)，

圖 4：ST-NMT 模型

給定三元組訓(xùn)練數(shù)據(jù)（源語(yǔ)言文本、目標(biāo)語(yǔ)言文本、軟模板），我們使用源語(yǔ)言文本和軟模板為目標(biāo)語(yǔ)言文本生成以下公式。源語(yǔ)言 Transformer 編碼器和軟模板 Transformer 編碼器將輸入序列 X 和由目標(biāo)語(yǔ)言單詞和非終端節(jié)點(diǎn)組成的模板 T 映射到隱藏層向量。然后，Transformer 解碼器與兩個(gè)編碼器交互生成*終的翻譯 Y，即：

基于源語(yǔ)言編碼器的隱藏層狀態(tài)和軟模板編碼器的隱藏層狀態(tài)，目標(biāo)語(yǔ)言Transformer解碼器使用編碼器-解碼器多頭注意力聯(lián)合使用源語(yǔ)言和模板信息生成*終翻譯Y. 另外，目標(biāo)序列解碼器針對(duì)不同的編碼器使用了兩組注意力機(jī)制參數(shù)。解碼器分別使用源句上下文 X=(x1, ..., xm) 和目標(biāo)模板上下文 T=(t1, ..., tn) ，然后我們的模型通過(guò)關(guān)注源上下文獲得兩個(gè)隱藏狀態(tài)和模板上下文，這里我們使用門(mén)控單元將包含源語(yǔ)言信息的隱藏層狀態(tài)和包含模板信息的隱藏層狀態(tài)融合，如下圖：

與傳統(tǒng)的 NMT 類似，為了使模型能夠預(yù)測(cè)目標(biāo)序列，我們使用*大似然估計(jì)來(lái)更新模型參數(shù)。當(dāng)我們?cè)诓皇褂媚０?Transformer 編碼器的情況下訓(xùn)練 P(Y|X) 時(shí)，我們只需要優(yōu)化以下?lián)p失函數(shù)：

當(dāng)我們使用模板 Transformer 編碼器訓(xùn)練 P(Y|X,T) 時(shí)，可以通過(guò)以下公式計(jì)算損失函數(shù)：

在實(shí)踐中，我們發(fā)現(xiàn)優(yōu)化這兩個(gè)目標(biāo)可以讓模型更容易訓(xùn)練，避免模板中噪聲的干擾，獲得更高的BLEU分?jǐn)?shù)，因?yàn)榇嬖谝恍┑唾|(zhì)量的模板影響翻譯質(zhì)量. 通過(guò)同時(shí)優(yōu)化兩個(gè)目標(biāo)，我們可以減少一些低質(zhì)量模板的影響，提高模型的穩(wěn)定性。為了平衡這兩個(gè)目標(biāo)，我們的模型同時(shí)對(duì)這兩個(gè)目標(biāo)進(jìn)行迭代訓(xùn)練，如下所示：

實(shí)驗(yàn)與分析

為了證明該方法的有效性，我們?cè)诙鄶?shù)據(jù)集、多語(yǔ)言上進(jìn)行了實(shí)驗(yàn)，包括IWSLT14德英翻譯任務(wù)、WMT14英德翻譯任務(wù)、LDC漢英翻譯任務(wù)和ASPEC日漢翻譯任務(wù)。實(shí)驗(yàn)表明，與基線模型相比，我們的方法取得了更好的結(jié)果，這表明軟目標(biāo)模板可以有效地指導(dǎo)翻譯過(guò)程并產(chǎn)生積極的影響。同時(shí)，我們的方法可以用于不同規(guī)模、語(yǔ)言和領(lǐng)域的數(shù)據(jù)集。

表 1：LDC 漢英翻譯任務(wù)結(jié)果

表 2：WMT14 英德翻譯任務(wù)結(jié)果

表 3：IWSLT14 德英翻譯任務(wù)結(jié)果

表 4：ASPEC 日中翻譯任務(wù)結(jié)果

總結(jié)

在這項(xiàng)工作中，我們提出了一種機(jī)器翻譯模型，該模型使用源文本和軟模板來(lái)生成翻譯。我們的方法可以從子樹(shù)中提取模板，子樹(shù)是從解析樹(shù)的特定深度獲得的。然后，我們使用 Transformer 模型來(lái)預(yù)測(cè)源文本的軟目標(biāo)模板。此外，我們結(jié)合源文本和模板信息來(lái)指導(dǎo)翻譯過(guò)程。我們?cè)诙鄠€(gè)數(shù)據(jù)集上比較了軟模板神經(jīng)機(jī)器翻譯模型 (ST-NMT) 與其他基線模型。實(shí)驗(yàn)結(jié)果表明，ST-NMT 可以顯著提高翻譯性能。