众所周知，多头注意力机制，Multi，HeadSelf，Attention，的计算开销很大，在处理长度为n的序列时，其O，n²，的时间复杂度会使得原始的Transformer模型难以处理长文本序列，在过去的两年里，已经出现了多种有效的方法来应对多头注意力机制的复杂度问题，本文将重点讨论在模型规模方面很有发展前景的方法，一、密集型多头注...。