Cholesky 分解

分类: 基础理论

type:: concept aliases:: Cholesky Decomposition, Cholesky Factorization

  • Cholesky 分解

  • 定义

  • 将正定对称矩阵分解为下三角矩阵与其转置的乘积：H=LLT\mathbf{H} = \mathbf{L}\mathbf{L}^T

  • 数学形式

H=LLT,L 为下三角矩阵\mathbf{H} = \mathbf{L}\mathbf{L}^T, \quad \mathbf{L} \text{ 为下三角矩阵}

  • 复杂度 O(n3/3)O(n^3/3)，约为 LU 分解的一半

  • 数值稳定，适用于正定 Hessian 矩阵

  • 核心要点

  • 在 GPTQ 和 LLVQ 中用于 Hessian 校正：ΔwR∗=−LRR−1LRCΔwC\Delta\mathbf{w}_R^* = -\mathbf{L}_{RR}^{-1} \mathbf{L}_{RC} \Delta\mathbf{w}_C

  • 只需一次分解即可高效求解所有行的误差补偿

  • 等价于 Gaussian 条件分布的数值实现

  • 代表工作

  • GPTQ: 利用 Cholesky 分解逐列量化权重

  • LLVQ: 将 Cholesky-based Hessian 校正推广到向量量化

  • 相关概念

  • Hessian

  • GPTQ

  • PTQ