Moe

从一个 token 的前向传播出发，理解 Top-k 路由、专家加权、总参数与激活参数，以及负载均衡和显存成本。