Amazon SageMaker HyperPod 现已在 EKS 编排的集群上支持每个节点更高的 Pod 密度,使组织能够在更少的实例上运行更多工作负载。这项增强功能可让 Amazon VPC CNI 随着调度的 Pod 增多而自动为节点增加网络容量,同时 Karpenter 自动扩缩容支持在集群扩展期间提升 Pod 容量。
模型推理和交互式开发工作负载
更高的 Pod 密度功能有助于模型推理部署,让单个 GPU 实例能够提供更多模型副本或运行多个模型,包括 ml.g5 和 ml.g6 等较小的实例类型。交互式开发工作负载也能提高效率,因为团队现在可以在每个节点上托管更多笔记本、IDE 和数据科学环境。这种整合减少了满足同等计算需求所需的实例总数。
GPU 分区和运维组件部署
支持多实例 GPU(MIG)技术的实例(例如 ml.p5en.48xlarge)现在可借助增强后的 Pod 密度充分利用所有可用切片,每个切片运行自己的 Pod。此外,运维组件、控制器和可观测性代理可以与用户工作负载一起运行在 CPU 节点上,而不会产生资源争用,从而改进监控、日志记录和安全基础设施的部署。
可用性和实施
该功能适用于 SageMaker HyperPod 覆盖的所有 AWS 区域内由 EKS 编排的 HyperPod 集群,包括海得拉巴、雅加达、墨尔本、孟买、首尔、新加坡、悉尼、东京、中部、法兰克福、爱尔兰、伦敦、斯德哥尔摩、北弗吉尼亚、俄亥俄、俄勒冈、北加利福尼亚、加拿大(中部)和圣保罗。部署该功能的组织必须更新集群 IAM 权限、集群软件和 Amazon VPC CNI 插件。
关键信息
- Amazon SageMaker HyperPod 现已在 EKS 编排的集群上支持每个节点更高的 Pod 密度
- Amazon VPC CNI 会随着调度的 Pod 数量增加而自动为节点增加网络容量
- Karpenter 自动扩缩容支持在集群扩展期间提升 Pod 容量
- 支持的工作负载包括在 ml.g5 和 ml.g6 实例类型上运行的模型推理、交互式开发环境,以及在 ml.p5en.48xlarge 实例上进行的 GPU 分区
- 该功能适用于 SageMaker HyperPod 覆盖的所有 AWS 区域,包括海得拉巴、雅加达、墨尔本、孟买、首尔、新加坡、悉尼、东京、中部、法兰克福、爱尔兰、伦敦、斯德哥尔摩、北弗吉尼亚、俄亥俄、俄勒冈、北加利福尼亚、加拿大(中部)和圣保罗
- 实施需要更新集群 IAM 权限、集群软件和 Amazon VPC CNI 插件
常见问题
哪些类型的工作负载最能受益于 SageMaker HyperPod 上更高的 Pod 密度?
SageMaker HyperPod 的更高 Pod 密度功能适用于需要通过单个 GPU 实例提供多个模型副本或不同模型的推理工作负载、托管笔记本和 IDE 的交互式开发环境、使用 ml.p5en.48xlarge 等实例上的多实例 GPU 切片的 GPU 分区场景,以及与主要工作负载一起运行监控、日志记录和安全代理的运维组件和控制器部署。
使用这项功能时,Amazon VPC CNI 如何处理 Pod 调度数量增加的情况?
随着调度的 Pod 增多,Amazon VPC CNI 会自动为节点增加网络容量,确保网络资源随 Pod 密度的提升而同步扩展。Karpenter 自动扩缩容也支持更高的 Pod 容量,使集群扩展期间预置的新节点能够容纳更多 Pod。
要在现有 HyperPod 集群上启用更高的 Pod 密度,需要进行哪些配置更改?
组织必须更新集群的 IAM 权限、集群软件和 Amazon VPC CNI 插件,才能在 EKS 编排的集群上启用更高的 Pod 密度功能。
免责声明:以上内容(如有图片或视频亦包括在内)均为平台用户上传并发布,本平台仅提供信息存储服务,对本页面内容所引致的错误、不确或遗漏,概不负任何法律责任,相关信息仅供参考。
本站尊重他人的知识产权、名誉权等法律法规所规定的合法权益!如网页中刊载的文章或图片涉及侵权,请提供相关的权利证明和身份证明发送邮件到qklwk88@163.com,本站相关工作人员将会进行核查处理回复