SPORK
预印本 · 2026Self-Speculative Forking to Accelerate Agentic LLM Inference
无需额外训练的控制器，在智能体推理过程中预测工具调用并提前执行。共享前缀降低投机开销，再通过核验决定复用结果或回退。
18%P95 延迟降低
Qwen3-32B · GAIA
131.9 → 108.1 秒
清华大学 · 计算机科学与技术系
白华君 Huajun Bai
博士生 · AI 系统研究
让大模型与智能体
更高效地推理。
我的研究涵盖投机解码、高效推理与智能体推理，连接算法设计与实际运行这些算法的系统。
在清华大学，我的导师是舒继武教授，所在课题组为存储研究组。
02 / 代表性论文
问题、方法与实证。
SpecExit
ICML 2026Accelerating Large Reasoning Model via Speculative Exit
利用草稿模型的隐状态，在预测未来 token 的同时预测提前退出信号，减少冗余推理与额外探测开销，并评估时延与准确率之间的权衡。
2.5×最高端到端加速
相较投机解码基线
具体配置见论文
PARD
ICLR 2026Accelerating LLM Inference with Low-Cost PARallel Draft Model Adaptation
以低成本将小模型适配为并行草稿模型，一次预测多个未来 token；同一草稿可在同系列目标模型间复用，降低适配与生成成本。
264.88token / 秒
LLaMA3.1-8B · HumanEval
vLLM · A100-40GB
结果来自所链接论文及标注的实验配置，不代表论文间的横向性能比较。* 表示共同贡献。
更多论文 2019–2025
- MobiCom 2025
EdgeFM Workshop - NeurIPS 2023
- WWW 2023
- ACL 2019
03 / 教育背景
学术背景
- 2024–至今
清华大学
计算机科学与技术系 · 博士生
- 2017–2018
康奈尔科技学院
计算机科学 · 工程硕士
- 2013–2017
康奈尔大学
数学与计算机科学 · 文学学士
04 / 学术交流
MLSYS Feed用声音记录系统研究。
我主持中文机器学习系统播客 MLSYS Feed，通过智能体流水线检索、排序并讲解论文，也借此关注自己课题之外的系统研究。
联系
欢迎交流系统研究。
自强科技楼 F5
清华大学 · 中国北京