作者丨侯宇泰

學校丨哈爾濱工業大學博士生

研究方向丨任務型對話系統

本文主要介紹本人收集整理的一個任務型對話資料集大全。

▲ 圖1. 資料集彙總專案

這份資料集大全涵蓋了到目前在任務型對話領域的所有常用資料集的主要資訊。此外，為了幫助研究者更好的把握領域進展的脈絡，我們以 Leaderboard 的形式給出了幾個資料集上的 State-of-the-art 實驗結果。

資料集的地址如下：

https://github.com/AtmaHou/Task-Oriented-Dialogue-Dataset-Survey

背景介紹：什麼是任務型對話

我們收集的資料集主要針對任務型對話研究（Task-oriented Dialogue）。

任務型對話系統指在特定的情境下幫助使用者完成特定任務的對話服務系統，例如幫助使用者訂餐、訂酒店的對話系統。近年來，隨著亞馬遜 Alex，微軟小娜，蘋果 Siri 等個人語音助理業務的興起，基於對話的人機互動方式得到了廣泛的關註，相關的研究也越來越多，儼然成為一個富有潛力的研究方向。

▲ 圖2. 語音助手

目前任務型對話的研究可以大體分為兩類：基於流程的任務型對話（Pipeline）以及端到端的任務型對話（End-to-End）。

基於流程的任務型對話是相對較為傳統的方法。這種任務型對話的系統透過一套 Pipeline 流程實現。如圖 3 所示， 任務型對話系統的流程依次包括：自然語言理解、對話狀態跟蹤、對話策略學習，自然語言生成模組。

具體的，使用者輸入自然語言，對話系統按流程依次完成：分析使用者意圖，更新對話狀態，根據對話策略做出動作，生成最終的自然語言回覆。

▲ 圖3. Pipeline任務型對話

然而，Pipeline 流程式的對話系統存在錯誤級聯和標註開銷大的問題，為此最近有一部分研究嘗試透過直接進行端到端的任務型對話學習來規避這些問題。端到端式對話系統根據使用者輸入句子直接給出自然語言回覆。

為什麼要做資料集彙總？

任務型對話任務並不是新課題，但是針對任務型對話的廣泛研究在最近幾年才興起。任務型對話研究的方興未艾反映在資料和語料上，就是目前現有的任務型對話資料集數量少，且其他成熟的任務已有的資料集在資料量上要少的多。 

在這種情況下，盡可能多找到並有效的利用已有的資料資源就成為開展研究的關鍵之一。然而，搜羅並全面的尋找合適的資料集是一個費時費力的工作，所以整理統計目前已有的任務型對話領域的資料集的資訊是有必要的，可以極大地為相關研究工作提供便利，讓研究工作得以地快速開始。

除了資料本身的資訊有價值之外，在重要資料集上的實驗結果提升過程，可以很大程度上反映自然語言研究的前進脈絡。所以，簡單的資料集資訊羅列並不能讓我們滿意，我們還計劃提供一些常用資料上的實驗結果和對應論文的資訊。從而幫助研究人員瞭解和把握任務型對話領域研究的推進脈絡。我們選擇以 Leaderboard 的形式呈現資料集上的部分實驗結果。

資料彙總的內容介紹

1. 資料集資訊

針對每個資料集，我們統計並總結瞭如下幾個方面的內容。

▲ 表1. 資料集內容及說明

類似其他常見資料集彙總工作，我們為每個資料集提供了名稱，下載連結，簡介，資料量等資訊。除了這些基本資訊，我們還涵蓋了一些任務型對話資料的特有的研究內容，例如：

• Multi or single turn：對話資料是多輪還是單輪是任務型對話資料的重要屬性，單輪對話資料往往用於自然語言理解任務，多輪對話資料往往用於端到端任務、對話策略學習、對話狀態跟蹤。

• Task detail：資料適用於什麼應用情景也是一個獨特的關鍵資訊，透過這個資訊，研究者可以快速理解資料，開展 Multi-domain 或 Domain-transfer 研究。

2. 實驗結果Leaderboard

對於一些研究常用資料，我們提供了上面的一些 State-of-the-art 實驗結果，並以 Leaderboard 的形式呈現，具體包括內容如下：

▲ 表2. Leaderboard內容及說明

其中我們的模型名稱採用出處論文中的表述，分數的評價指標以具體的任務而定。實驗結果串列配合上論文連結，可以讓讀者快速地瞭解一個任務。

此項資訊內容仍在完善中。

資料集彙總內容樣例

1. 資料集介紹樣例

資料集的彙總目前以表格的形式，收錄了 17 個資料的細節資訊。讀者可以在 Github 專案中 Excel 檔案或者 Readme 中直接檢視。資料的格式如圖 4 所示。

▲ 圖4. 資料細節樣例

2. Leaderboard 樣例

我們以 Leaderboard 的形式展示了語意槽抽取（Slot filling），使用者意圖識別（Intent detection），對話狀態跟蹤（Dialogue state tracking）三個任務上的一些領先結果。具體形式如圖 5 所示。

▲ 圖5. Leaderboard的樣例

關於內容補充的邀請

我們歡迎各種形式的內容完善，包括但不限於：

• 直接提交 Pull Request

• 向我們傳送新資料

• 向我們傳送新的實驗結果（已發表論文）