一个 AI 服务有多个处理步骤，Ray Serve 让它们分别部署再接起来DeploymentHandle把远端步骤写成可组合调用；前一步的结果还能直接传给后一步，每步独立配置资源。开源项目02:1219 次阅读阅读全文
多人同时请求摘要，BentoML 可以在服务端把输入合成批次客户端仍提交自己的请求，服务里的dispatcher决定等待多久、一次处理多少；摘要函数则接收和返回列表。开源项目02:1224 次阅读阅读全文
