模运算

分类: 基础理论

模运算

定义

整数除法取余数的运算,amodna \mod n 返回 aa 除以 nn 的余数

数学形式

amodn=ana/na \mod n = a - n \lfloor a / n \rfloor

核心要点

在 GPU 编程中,模运算可实现固定步长的内存访问模式

等大小数组通过模运算实现 O(1) 的索引映射,无需额外的查找表

FlashHead 利用等大小聚类 + 模运算替代 ragged gather 操作

代表工作

FlashHead: 等大小聚类使 cluster-to-token 映射可通过模运算实现高效 dense tensor 访问

相关概念

计算复杂度