具体办法就是建一个临时Lora模块，让它仅在长文本生成过程中“流式更新”，也就是用先前生成的内容不断作为输入来充当训练数据，以此保证知识被存进模型参数中。

　　既可以显著提高模型长文本任务质量，实现困惑度下降29.6%，长文本翻译质量（BLUE得分）提高53.2%；

　　在保证生成质量小幅提升（困惑度降低3.8%）的同时，推理所需的FLOPs降低70.5%、延迟降低51.5%！

　　在生成过程中，token是逐块生成的。每次生成块时，使用最新的Lxtoken作为输入X生成后续token。

　　一旦生成的token数量达到预定义的区块大小∆，就使用最新的块启动Temp-Lora模块的训练，然后开始下一个块生成。

　　对于Temp-Lora模块的训练，如果在没有任何条件的情况下，学习生成新的块可能构不成有效的训练目标，并导致严重的过拟合。

　　为了解决这个问题，作者将每个块前面的LT标记合并到训练过程中，将它们用作输入，将块用作输出。

　　一般来说，在标准框架中更新Temp-Loramo模块后，我们需要使用更新的参数重新计算KV状态。

　　具体来说，只有当模型生成最大长度（上下文窗口大小W）时，我们才使用最新的Temp-Lora模块重新计算KV状态。

　　另一个是来自WMT 2023的国风数据集的随机抽样子集，包含20部中文网络小说，由专业人员翻译成英文。

　　下表显示了PG19上带有和不带有Temp-Lora模块的各种型号的PPL（困惑度，反映模型对于给定输入的不确定性，越低越好）比较。将每个文档划分为0-100K到500K+token的片段。

　　可以看到，所有型号经过Temp-Lora之后PPL都显著下降，并且随着片段越来越长，Temp-Lora的影响更加明显（1-100K仅降低3.6%，500K+降低13.2%）。

　　这个数据主要是告诉我们块大小的选择是生成质量和计算效率之间的关键权衡（进一步分析可以查阅论文）。

　　与基础模型相比，所有指标都有显著改进：PPL降低了-29.6%，BLEU得分（机器翻译文本与高质量参考翻译的相似度）提高了+53.2%，COMET得分（也是一个质量指标）提高了+8.4%。

　　相反，如果我们完全忽略计算成本，使用最“豪华”的配置（∆=1K和W=24K），也可以实现5.0%的PPL降低，并额外增加17%的FLOP和19.6%的延迟。

　　1、对于需要最高级别长文本生成的应用，在不更改任何参数的情况下，集成Temp-Lora到现有模型中，就能以相对适中的成本显著提高性能。

　　2、对于看重最小延迟或内存使用的应用，可以通过减少输入长度和在Temp-Lora中存储的上下文信息来显著降低计算成本。

　　在这种设置下，我们可以使用固定的短窗口大小（如2K或4K）来处理几乎无限长的文本（在作者的实验中为500K+）。

　　3、最后，请注意，在不含大量文本的场景中，例如预训练中上下文比模型的窗口大小还小，Temp-Lora就是毫无用处的。

　　本文为澎湃号作者或机构在澎湃新闻上传并发布，仅代表该作者或机构观点国外代理ip使用方法，不代表澎湃新闻的观点或立场，澎湃新闻仅提供信息发布平台。申请澎湃号请用电脑访问。