- Published on
从 token 与 attention head 的并行、矩阵化计算中的权重复用，到算术强度和耗时下界，厘清 prefill 与 decode 的性能差异。
All Posts
All Posts
- acm (17)
- dp (6)
- mit-6s081 (6)
- ai-infra (6)
- llm (5)
- atcoder (4)
- tool (4)
- 数据结构 (4)
- 算法 (4)
- csdiy (3)
- 多校 (3)
- lecture (3)
- csapp (2)
- ai (2)
- linux (2)
- lab (2)
- attention (2)
- binary-code (1)
- dsu (1)
- graph (1)
- 区间 (1)
- 平面直角坐标系 (1)
- 曼哈顿距离 (1)
- 技巧 (1)
- xcpc (1)
- 前缀和差分 (1)
- 二分搜索 (1)
- windows (1)
- frp (1)
- 远程桌面 (1)
- diy (1)
- 背包 (1)
- 单调队列 (1)
- mit6null (1)
- shell (1)
- 线段树 (1)
- site-building (1)
- 字典树 (1)
- proxy (1)
- vps (1)
- 计算机网络实验 (1)
- 期末总结 (1)
- zjsu (1)
- 操作系统 (1)
- 并发 (1)
- os (1)
- rag (1)
- bm25 (1)
- fpga (1)
- moe (1)
- transformer (1)
- gpu (1)
- 性能优化 (1)
- 线性代数 (1)
- 数学 (1)
- 经济 (1)
- macos (1)
- 驱动 (1)
- tips (1)
- Published on
从连接模式、复杂度与工程实现出发，解释稀疏注意力，并比较 FlashAttention 与 PagedAttention。- Published on
用 Notion MCP 和 AI Agent 搭建个人知识库读写工作流的实践记录。- Published on
介绍 Agent Skills 的概念、最小结构、示例、官方预置技能和编写经验。- Published on
MIT-6.S081 Lab 2: system calls