把大模型推得更快、跑得更省

vLLM Scheduler Trace 与调度实验

v0.26 已完成实验验证 · v0.28 正在迁移

基于 vLLM v0.26 / MRv2 实现 step-level Trace，将 Scheduler 调度决策、KV block 变化与模型执行输入关联起来；使用 CPU / NumPy 元数据和后台 JSONL writer，避免 tracing 引入 GPU 数据回读与额外同步，并通过跨层 token 数不变量校验事件语义一致性。

在 full-ISL reservation 场景下构造可控 workload，复现 waiting queue 队首阻塞问题，并实验 bypass / revocable backfill 类调度策略，分析短请求 TTFT、长请求延迟、吞吐、公平性与抢占之间的 trade-off。

当前正在将 Trace infrastructure 迁移到 vLLM v0.28，已完成部分 Scheduler 热路径适配、事件语义兼容和 CPU 侧回归验证，GPU 与真实 Scheduler 环境验证尚未完成。

minitensor · 最小化 LLM 推理引擎

用于理解和验证 LLM 推理引擎底层机制的实验型系统实现。

从底层实现 KV Cache、PagedAttention / block table、Continuous Batching、Prefix Cache、reference counting / COW、FP8 PagedKVCache，以及 LayerNorm、Softmax、Matmul 等基础算子，并结合 CUDA Kernel 与性能分析，理解现代 LLM Serving Engine 中的内存管理、批处理和执行机制。