alarik
RSS Feed纵使日薄西山，即便看不到未来，此时此刻的光辉，盼君勿忘。
个人博客，写写代码、读读论文、记记生活。
在终将消逝的时间里，留下一些不灭的东西。
Recent Posts
eLLM：用算力换显存的自适应 KV Cache
EuroSys'26 论文解读：通过 token 粒度+层粒度的部分 KV Cache 重算和横向核融合，用富余算力换取紧缺显存
OPD 深度解析（三）：知识蒸馏与 OPD 梯度推导
从离线知识蒸馏到 on-policy distillation 的梯度推导，涵盖 sequence-level 与 token-level OPD
OPD 深度解析（一）：概率、熵与 KL 散度
从概率分布到熵、交叉熵再到 KL 散度，建立 on-policy distillation 的数学基础
OPD 深度解析（二）：SFT 与策略梯度推导
从自回归分解到 SFT loss 再到策略梯度，为 on-policy distillation 推导打下数学基础