SingLoRA:单矩阵架构减半参数量,让大模型微调更稳定高效
随着深度学习模型规模的不断扩大,模型微调在保持性能的同时面临着计算成本和内存消耗的双重挑战。低秩适应(LoRA)技术通过引入低秩矩阵分解有效缓解了这一问题,但在实际应用中仍存在训练稳定性和参数效率方面的局限性。SingLoRA作为一种创新的低秩适应方法,通过摒弃传统的双矩阵架构,采用单矩阵对称更新策略,