近日，第15届 ACM云计算大会（SoCC，ACM Symposium on Cloud Computing）在美国西雅图微软全球总部召开。上海交通大学电子信息与电气工程学院自动化系2021级博士研究生隋奕帆关于无服务计算的论文“Pre-Warming is Not Enough: Accelerating Serverless Inference With Opportunistic Pre-Loading”获评SoCC 2024会议最佳论文奖（Best Paper Award），论文通讯作者为自动化系李建勋教授。这是自2010年首届 SoCC 举办以来，中国大陆研究团队首次获此殊荣。

研究成果

无服务计算是一种新型云计算技术，它让用户能够以按需付费的方式，轻松地扩展他们的机器学习应用。用户只需将机器学习代码打包成一个个函数，这些函数就可以在云端容器中自动部署和运行。然而，无服务计算技术存在一个重要问题，即“冷启动”问题：每次初始化函数时都会有一定的延迟。“冷启动”问题严重阻碍了无服务计算提供低延迟运算。

为了避免冷启动，学术界和工业界采用了一种名为“预热”的策略，即通过提前让容器保持活跃状态来减少延迟。但是研究发现，对于机器学习推理任务而言，即使容器已经预热，加载机器学习库和模型本身还是需要较长时间。

为了彻底解决这个问题，本研究提出了一种名为InstaInfer的技术。这项技术可以在容器预热的同时，预先加载所有必要的机器学习库和模型，从而实现几乎无延迟的启动。这意味着当需要进行机器学习推理时，所有的准备工作已经就绪，可以立即开始处理数据，大幅提高处理速度。此外，该技术可以与任意现有预热策略兼容，极大扩展了本技术的应用范围。

在实际测试中，本方法可以使加载时间缩短高达93%，处理速度提高8倍。这一成果显著提升了无服务计算环境中机器学习推理任务的执行效率，极大地减少了因冷启动而导致的延迟。

会议信息

ACM云计算大会（ACM Symposium on Cloud Computing）是云计算领域的顶级会议，代表了当前云计算领域在学术界、工业界和开源社区的最前沿水平。SoCC 会议伴随着云计算的兴起而成立，至今已经举办到第15届。该会议每年吸引全球顶级研究机构和知名大公司投稿，对系统创新性、完整性和有效性等方面都有着极高要求。本次SoCC大会共有209篇论文投稿，63篇被接收，其中3篇论文获得最佳论文奖。