一. Architecture
二. Detail
三. Loss Function
月份：2020年5月
[DeepMatch]A Deep Architecture for Matching Short Texts
Architecture
Model explanation
- 先用(Q, A)语料训练 LDA 主题模型，得到其 topic words，这些主题词被用来检测两个文本是否有共现词，例如，若文本 X 和文本 Y 都可以归类到某些主题词，则意味着它们可能存在语义相关性。而词抽象层次则体现在，每次指定不同的 topic 个数，训练一个 LDA 模型，最终会得到几个不同分辨率的主题模型，高分辨率模型的 topic words 通常更具体，低分辨率模型的 topic words 则相对抽象。
- 不同抽象层级的 topic words 可以构造出一系列 patches，两个文本 X, Y 在某 patch 上的共现关系构成那个抽象层次的 local decision
- 上图左侧 Input 部分，不同的颜色代表不同的 topic 抽象层级
Loss function
[LSTM-DSSM]Semantic Modelling with Long-Short-Term Memory for Information Retrieval
Architecture
Wp1,Wp2 and Wp3 are peephole connections(遗忘门和输入门考虑了 Ct-1，而输出门考虑了 Ct)
Loss Function
[CNN-DSSM/CLSM]A Latent Semantic Modelwith Convolutional-Pooling Structure for Information Retrieval
CLSM uses a fixed size sliding window to capture local context information, and a max pooling layer to capture global context information.
Architecture
Letter-trigram based Word-n-gramRepresentation
word hashing和DSSM的有些不同
letter-trigram layer：30k*3=90k, word hashing之后每个单词的纬度为30k，然后3-gram拼接为90k
Loss Function
[DSSM]Learning Deep Structured Semantic Models for Web Search using Clickthrough Data
Architecture
Loss function
Trick: Word Hashing
Given a word (e.g. good), we first add word starting and ending marks to the word(e.g. #good#). Then, we break the word into lettern-grams(e.g. letter trigrams: #go, goo, ood, od#). Finally, the word is represented using a vector of letter n-grams.