[DeepMatch]A Deep Architecture for Matching Short Texts

Architecture

Model explanation

  • 先用(Q, A)语料训练 LDA 主题模型,得到其 topic words,这些主题词被用来检测两个文本是否有共现词,例如,若文本 X 和文本 Y 都可以归类到某些主题词,则意味着它们可能存在语义相关性。而词抽象层次则体现在,每次指定不同的 topic 个数,训练一个 LDA 模型,最终会得到几个不同分辨率的主题模型,高分辨率模型的 topic words 通常更具体,低分辨率模型的 topic words 则相对抽象。
  • 不同抽象层级的 topic words 可以构造出一系列 patches,两个文本 X, Y 在某 patch 上的共现关系构成那个抽象层次的 local decision
  • 上图左侧 Input 部分,不同的颜色代表不同的 topic 抽象层级

Loss function

paper

[CNN-DSSM/CLSM]A Latent Semantic Modelwith Convolutional-Pooling Structure for Information Retrieval

CLSM uses a fixed size sliding window to capture local context information, and a max pooling layer to capture global context information.

Architecture

Letter-trigram based Word-n-gramRepresentation

word hashing和DSSM的有些不同

letter-trigram layer:30k*3=90k, word hashing之后每个单词的纬度为30k,然后3-gram拼接为90k

Loss Function

paper