[论文笔记][SIGDIAL-2013]Deep Neural Network Approach for the Dialog State Tracking Challenge

一、Model

1.St,s

2.Feature Function

3.Input

model对历史对话的信息重点放在前T轮,也就是t-T+1到当前轮次t,对于每个轮次都根据特征函数抽取了信息。此外T轮之前的信息,作者可能认为参考意义不是很大,因此直接将t-T+1轮之前的特征直接做了一个总和,单独作为一个输入。

4.Output

对于不属于St的槽用exp(B),而属于St的槽用exp(E(t,v)),求出两种概率(softmax归一化)。

二、Refs

paper

任务型对话(二)—— DST(对话状态追踪)

梳理|对话系统中的DST

0

生成模型和判别模型

一、判别方法

1.定义

由数据直接学习决策函数Y=f(X)或者条件概率分布P(Y|X)作为预测的模型,即判别模型。基本思想是有限样本条件下建立判别函数,不考虑样本的产生模型,直接研究预测模型。典型的判别模型包括线性回归逻辑回归K近邻决策树支持向量机、条件随机场最大熵模型提升方法、感知机

  • 决策函数Y=f(X):你输入一个X,它就输出一个Y,这个Y与一个阈值比较,根据比较结果判定X属于哪个类别。例如两类(w1和w2)分类问题,如果Y大于阈值,X就属于类w1,如果小于阈值就属于类w2。这样就得到了该X对应的类别了。
  • 条件概率分布P(Y|X):你输入一个X,它通过比较它属于所有类的概率,然后输出概率最大的那个作为该X对应的类别。例如:如果P(w1|X)大于P(w2|X),那么我们就认为X是属于w1类的。
2.优缺点
  • 优点
    • 直接面对预测,往往学习的准确率更高
    • 由于直接学习 P(Y|X) 或 f(X),可以对数据进行各种程度的抽象,定义特征并使用特征,以简化学习过程
  • 缺点
    • 不能反映训练数据本身的特性。

二、生成模型

1.定义

由数据学习联合概率密度分布P(X,Y),然后求出条件概率分布P(Y|X)作为预测的模型,即生成模型:P(Y|X)= P(X,Y)/ P(X)。典型的生成模型包括朴素贝叶斯、贝叶斯网络隐马尔可夫模型、马尔可夫随机场混合高斯模型

2.优缺点
  • 优点
    • 可以还原出联合概率分布 P(X,Y),判别方法不能
    • 学习收敛速度更快——即当样本容量增加时,学到的模型可以更快地收敛到真实模型
    • 当存在“隐变量”时,只能使用生成模型
  • 缺点
    • 学习和计算过程比较复杂

三、联系

  • 由生成模型可以得到判别模型,但由判别模型得不到生成模型。
  • 当存在“隐变量”时,只能使用生成模型

四、Example

  • 生成式模型举例:利用生成模型是根据山羊的特征首先学习出一个山羊的模型,然后根据绵羊的特征学习出一个绵羊的模型,然后从这只羊中提取特征,放到山羊模型中看概率是多少,在放到绵羊模型中看概率是多少,哪个大就是哪个。
  • 判别式模型举例:要确定一个羊是山羊还是绵羊,用判别模型的方法是从历史数据中学习到模型,然后通过提取这只羊的特征来预测出这只羊是山羊的概率,是绵羊的概率。

五、Refs

0