PPL是用在自然语言处理领域（NLP）中，衡量语言模型好坏的指标。它主要是根据每个词来估计一句话出现的概率，并用句子长度作normalize，公式为
由公式可知，perplexity越小，模型越好。从公式最后一部分，感觉更像是描述GPT这种生成模型。
还有一种说法是：
GPT：
BERT(denoising auto-encoding)：
where mt = 1 indicates xt is masked.
given a sequence of m tokens 
as context, the task is to generate the next n continuation tokens to obtain the completed sequence 
. We assume that models compute 
using the common left-to-right decomposition of the text probability,
which is used to generate the generation token-by-token using a particular decoding strategy
1.Maximization-based decoding
解码器的输出层后面通常会跟一个softmax函数来将输出概率归一化。如果词表比较大的话，softmax的计算复杂度会比较高(分母需要计算整个词表大小的维度)
每次选最高概率的一项作为输出，直到遇到结束符号，将这些输出的概率相乘，得到该sequence的概率。
缺点：每次选择都是最大的，但是整体的概率不一定是最大的，有可能错过最优的结果
考虑到`Beam Size=2`，第一步选择概率最大的两个A和B，第二步选择AB和BB（橙色大箭头）。然后以选择的AB和BB继续向上传播，又出现了四种情况ABA/ABB/BBA/BBB，依然是选择综合概率最大的两个ABB/BBB。以此类推，直至句子结束。
缺点：
2.Stochastic Decoding
从词表选择topk个词，使得概率之和最大，即
缺点：k的取值难以界定。k太小，会生成比较bland和generic的结果，即缺乏diversity；k太大，会退化成随机sampling(pure sampling)，会陷入语义表达错误，即sample from tail distribution
丛词表选择p个概率之和大于给定阈值的词，即
采样集的大小将根据每个时间步长的概率分布动态调整。对于高的阈值来说，这一个小部分的词汇，就占据了绝大多数的概率—-核。
def top_k_top_p_filtering(logits, top_k=0, top_p=0.0, filter_value=-float('Inf')):
""" Filter a distribution of logits using top-k and/or nucleus (top-p) filtering
Args:
logits: logits distribution shape (vocabulary size)
top_k >0: keep only top k tokens with highest probability (top-k filtering).
top_p >0.0: keep the top tokens with cumulative probability >= top_p (nucleus filtering).
Nucleus filtering is described in Holtzman et al. (http://arxiv.org/abs/1904.09751)
"""
assert logits.dim() == 1 # batch size 1 for now - could be updated for more but the code would be less clear
top_k = min(top_k, logits.size(-1)) # Safety check
if top_k > 0:
# Remove all tokens with a probability less than the last token of the top-k
indices_to_remove = logits < torch.topk(logits, top_k)[0][..., -1, None]
logits[indices_to_remove] = filter_value
if top_p > 0.0:
sorted_logits, sorted_indices = torch.sort(logits, descending=True)
cumulative_probs = torch.cumsum(F.softmax(sorted_logits, dim=-1), dim=-1)
# Remove tokens with cumulative probability above the threshold
sorted_indices_to_remove = cumulative_probs > top_p
# Shift the indices to the right to keep also the first token above the threshold
sorted_indices_to_remove[..., 1:] = sorted_indices_to_remove[..., :-1].clone()
sorted_indices_to_remove[..., 0] = 0
indices_to_remove = sorted_indices[sorted_indices_to_remove]
logits[indices_to_remove] = filter_value
return logits
# Here is how to use this function for top-p sampling
temperature = 1.0
top_k = 0
top_p = 0.9
# Get logits with a forward pass in our model (input is pre-defined)
logits = model(input)
# Keep only the last token predictions of the first batch item (batch size 1), apply a temperature coefficient and filter
logits = logits[0, -1, :] / temperature
filtered_logits = top_k_top_p_filtering(logits, top_k=top_k, top_p=top_p)
# Sample from the filtered distribution
probabilities = F.softmax(filtered_logits, dim=-1)
next_token = torch.multinomial(probabilities, 1)
今天跑实验发现batch size=4和batch size=2048的结果相差太大，下面依次是bs=4和bs=2048的生成结果
恐 怕 只 会 得 到 你 讨 厌 初 恋 的 日 记 为 了 爱 你 与 我 之 间 似 比 针 线 它 反 覆 骗 著 我 其 实 我 并 不 像 他 们 说 的 心 里 渐 奔 放 你 说 走 就 走 天 与 地 难 以 有 人 可 拯 救 到 我 随 风 飘 飘 天 地 任 逍 遥 岁 月 多 依 稀 怎 么 一 点 都 不 可 以 将
我 的 心 中 的 心 的 心 我 们 的 心 中 我 的 心 我 的 心 中 的 心 中 的 心 我 们 不 会 相 信 我 的 心 中 的 心 中 的 心 里 我 们 的 心 中 我 们 的 心 中 我 的 心 中 的 心 中 的 心 中 的 心 我 的 心 中 的 心 中 的 心 我 们 的 心 中 我 的 心 中 的 心 中 的 心
另外需要看一下paper《On Large-Batch Training for Deep Learning: Generalization Gap and Sharp Minima》
