Latest

从一个 token 的前向传播出发，理解 Top-k 路由、专家加权、总参数与激活参数，以及负载均衡和显存成本。

用可复算的例子解释 BM25、在线 top-k 与 HeteroLLM 中 FPGA 检索的数据流和加速边界。

从 Lightning Indexer、Top-K 与 Sparse MLA 的数据流出发，理解 DSA 的复杂度、缓存、训练方式与实现边界。

从 token 与 attention head 的并行、矩阵化计算中的权重复用，到算术强度和耗时下界，厘清 prefill 与 decode 的性能差异。

从连接模式、复杂度与工程实现出发，解释稀疏注意力，并比较 FlashAttention 与 PagedAttention。