【INTERSPEECH-16】Attention-Based Recurrent Neural Network Models for Joint Intent Detection and Slot Filling

一、Encoder-Decoder Model with Aligned Inputs

1.意图识别

双向RNN编码得到hi = [fhi, bhi],最后时刻的隐状态hT携带了整个句子的信息,使用它进行意图分类

2.槽填充

用单向RNN作为Decoder。初始。有3种方式:a.只有注意力输入; b.只有对齐输入; c.有注意力和对齐两个输入

二、Attention-Based RNN Model

1.意图识别:文本分类,加入Attention效果提升

没有Attention,直接mean-pooling(所有时间步隐藏状态(前后拼接)先求加和再求平均值),然后利用逻辑回归进行分类;

有Attention,用每个时间步隐藏状态(前后拼接)的加权平均值(Attention),然后分类;

2.槽填充:线性标注问题,引入Attention并无太大作用

三、Refs

paper/others_I/others_II