周宜波

字节跳动火山引擎 - AI基础设施架构师

AI Agent专家 | GPU池化 | LLM推理优化

技术专长

AI Agent

GPU池化

推理优化

高性能虚拟化

大模型部署

容器化AI

分布式推理

模型压缩

AI Agent架构设计
大模型推理优化
GPU资源池化
分布式训练系统

推理加速技术
模型压缩优化
内存管理策略
计算图优化

云原生AI平台
弹性GPU服务
高性能计算集群
AI容器编排

articles

序言 sriov的技术大家基本上都能耳熟能详了，但是大多也只停留在spec层面或者说知道sriov如何使能上。这篇文章主要想通过qemu侧对sirov后端相关模拟的解析来让大家对sriov有一个更加深入的理解。后续的行文主要分为以下两个方面 - os侧 sriov相关使能解析 -...

pcie SRIOV

articles

背景 ATS 是Address Translation Service 的缩写，它的提出主要是为了缓解iommu硬件iova转换的压力。尤其是当设备上有大量的DMA working...

PCIe PCIe ATS ACS

articles

GT/s 和 GBps 分别表示什么 GT/s 是 Giga Transmission per second的缩写，它表示的是原始速率即每秒能够传输多少bits，其数值等于PCIe总线的时钟频率。而GBps表示有效带宽也即每秒能够传输多少数据，它跟原始速率 …

pci pcie

获取最新的AI基础设施技术文章和深度解析