SLO-Aware LLM Serving
LLM推理调度系统,在感知SLO需求时调节请求间的算力配给,并结合负载均衡器协同设计,实现更加公平的高质量LLM推理。
Disaggregated-GC
解耦式的低干扰并发垃圾回收器,通过解耦GC与Java应用,显著降低并发GC对应用造成的性能干扰,显著提高应用服务质量。
SNIC-Serializer
基于智能网卡的Java序列化加速器,通过硬件卸载加速Java分布式应用的序列化过程,提高分布式应用性能。