周宜波

字节跳动火山引擎 - AI基础设施架构师

AI Agent专家 | GPU池化 | LLM推理优化

技术专长

AI Agent

GPU池化

推理优化

高性能虚拟化

大模型部署

容器化AI

分布式推理

模型压缩

AI Agent架构设计
大模型推理优化
GPU资源池化
分布式训练系统

推理加速技术
模型压缩优化
内存管理策略
计算图优化

云原生AI平台
弹性GPU服务
高性能计算集群
AI容器编排

articles

序言虚拟化场景下，有时为了提升虚拟机io性能通常会选择把设备直通给vm。设备直通要么使用设备的SRIOV或者SIOV能力，要么把整个设备都通给虚拟机。有些场景下，为了 …

vfio

获取最新的AI基础设施技术文章和深度解析