RELAY让循环 Transformer 助力CoT推理,微调自回归模型,实验证实效果显著提升!
思维链(CoT) Prompt 已成为增强语言模型推理能力的一种强大技术。然而,生成长且正确的CoT轨迹颇具挑战。最近的研究表明,循环Transformer具有出色的长度泛化能力,但其有限的通用性和适应性阻碍了它们成为自回归解决方案的替代品
5小时前10
思维链(CoT) Prompt 已成为增强语言模型推理能力的一种强大技术。然而,生成长且正确的CoT轨迹颇具挑战。最近的研究表明,循环Transformer具有出色的长度泛化能力,但其有限的通用性和适应性阻碍了它们成为自回归解决方案的替代品