Existence proof and improvement study of nontrivial upper bounds on task recognition of large language models

大规模语言模型（LLM）在解决自然语言任务方面取得了显著进步, 缩小了人类与人工智能之间的差距. 然而, LLM的性能仍然对提示的细微变化非常敏感. 其中引起本文注意的一个现象是, 为LLM提供几个问题-答案配对的示例, 即使示例的答案是随机选择的, 仍然可以显著提高其性能. 在上下文学习中, LLM利用示例的机制能够分解为任务辨识（Task Recognition）和任务学习（Task Learning）两种, 而随机标注示例对性能的提升主要归功于任务辨识. 这一现象表明, LLM在任务辨识上仍有不足. 本文主要研究LLM在任务辨识上不足的可能原因, 指出这一不足可能源于自然语言数据的长尾分布特征和任务之间固有的相似性. 本文进一步构建理论模型对这一猜想进行论证, 而后通过一系列实验验证了理论假设与理论结果, 分析了模型参数量等因素对模型任务辨识能力的影响. 最后, 本文进一步探究了针对LLM任务辨识不足的可能改进方向.