【CoRR-2017】Multi-Domain Adversarial Learning for Slot Filling in Spoken Language Understanding

一、Contributions

对抗性训练方法,用于学习可以跨多个域共享的共同特征和表示。

二、Models

1.Bi-LSTM Slot Filling Model

BiLSTM的每个时间步的前后向拼接的隐藏状态,然后接入MLP(全连接层),通过softmax得到概率,代价函数为交叉熵函数。

2. Domain Adversarial Learning

2.1 Attention Domain Classifier

简单的self attention, 将每个时间步的隐藏状态(前后向拼接)通过激活函数g得到新的值,然后所有的时间步进行softmax得到权值,最终拿这些权值和对应的隐藏状态(前后向拼接)得到加权和,进行分类。

2.2 Adversarial Training

代价函数交叉熵函数。更新θd最小化域分类的交叉熵损失更新θs生成maximize domain classification confusion的句子表达

3.  Joint Optimization

slot filling阶段:分别预训练domain-specific和domain-general Bi-LSTM,仅在输出层来优化全连接参数。

三、Refs

paper/reading1