【IJCAI-16】A Joint Model of Intent Determination and Slot Filling for Spoken Language Understanding

理解:

1.双向的GRU+CRF

2.对于意图分类来说,利用每一个学习到的隐藏层特征,采用max pooling槽位得到全句的表达,再采用softmax进行意图的分类

3.对于槽位来说,对每个隐藏层的输入用前向网络到各个标签的概率,并采用CRF对全局打分得到最优的序列。

一、综述

SLU(即语义理解)来说,一般有两项主要任务:意图识别(Intent determination,即文本分类)和槽填充(slot filling,即文本标记)。循环神经网络(RNNs),在文本分类任务中被证明可取得较好的结果。由于意图识别和槽填充有相当的联系,所以论文作者提出一个适合于两种任务的联合模型。

二、模型结构

1.Embeddings

①词向量e(w_{t} )

②context word window could improve the performance of RNNs on SF

③Named entity is an important kind of feature for SLU

2.Recurrent Hidden Layers

3.Task Specific Layers

4.Output Layers

5.Loss Function

三、参考

paper/others’ reading