AWS AppConfig 推出两种新的配置文件类型,用于管理生成式 AI 应用设置:AI 模型调用配置和 AI 提示词配置,可在无需重新部署代码的情况下实时更新。这些新功能利用 AWS AppConfig 的安全部署实践,包括逐步推出和自动回滚功能,使开发者能够更快地优化 AI 应用,同时尽可能减少意外行为和代币使用问题。
AI 模型调用与提示词配置功能
AI 模型调用配置存储应用调用 AI 模型时使用的设置,包括模型标识符、推理参数(如温度和最大代币数),以及消息(如系统提示词和示例对话轮次)。特定于提供商的选项通过自定义参数进行管理,从而使同一架构适用于不同的 AI 提供商。这种统一方式简化了多提供商 AI 部署。
AI 提示词配置作为单独版本化的构件进行管理,使开发者能够独立更新和优化提示词,而无需更改模型配置。这项功能支持在多个应用中重复使用提示词,助力完善的提示词工程工作流。将提示词配置与模型配置分离,为管理 AI 应用行为提供了灵活性。
逐步推出与自动回滚功能
AI 模型调用配置和提示词配置的更改可以按流量层级逐步推出,例如先覆盖 10%,再覆盖 20%,然后覆盖 30% 的应用流量。在推出过程中,开发者可以衡量更改对运营指标、客户体验和代币用量的影响。如果 Amazon CloudWatch、Datadog、New Relic 或其他可观测性解决方案中的警报在推出期间触发,AWS AppConfig 可以自动将更改回滚到之前的状态,保护线上环境免受性能下降或 AI 模型意外行为的影响。
可用性与部署
AI 模型调用配置和 AI 提示词配置现已在所有提供 AWS AppConfig 的 AWS 区域推出,且不收取额外费用。AWS AppConfig 用户指南提供了创建这些配置文件的文档,包括创建 AI 模型调用配置文件和创建 AI 提示词配置文件的指南。
关键信息
- AI 模型调用配置存储模型标识符、推理参数(温度、最大代币数)、系统提示词和示例对话轮次
- AI 提示词配置作为单独版本化的构件进行管理,可独立优化并在多个应用中重复使用
- 逐步推出支持按流量比例逐步扩大范围(例如 10%、20%、30%),并实时监控运营指标、客户体验和代币用量
- 自动回滚可与 Amazon CloudWatch、Datadog、New Relic 和其他可观测性解决方案集成,在部署期间触发警报时撤销更改
- 新配置文件类型不收取额外费用
- 所有提供 AWS AppConfig 的 AWS 区域均可使用
常见问题
AI 模型调用配置可以管理哪些设置?
AI 模型调用配置存储模型标识符、推理参数(如温度和最大代币数)以及消息,包括系统提示词和示例对话轮次。特定于提供商的选项通过自定义参数进行管理,因此同一架构可以适用于不同的 AI 提供商。
AI 提示词配置与 AI 模型调用配置有何不同?
AI 提示词配置将提示词作为单独版本化的构件存储,使开发者能够独立更新和优化提示词,而无需更改模型配置。这种分离使提示词可以在多个应用中重复使用,支持提示词工程工作流,避免在不同部署中重复配置。
逐步推出期间触发 CloudWatch 警报会发生什么?
如果 Amazon CloudWatch、Datadog、New Relic 或其他可观测性解决方案中的警报在逐步推出期间触发,AWS AppConfig 可以自动将更改回滚到之前的状态,保护应用免于持续受到可能存在问题的配置更改影响。
免责声明:以上内容(如有图片或视频亦包括在内)均为平台用户上传并发布,本平台仅提供信息存储服务,对本页面内容所引致的错误、不确或遗漏,概不负任何法律责任,相关信息仅供参考。
本站尊重他人的知识产权、名誉权等法律法规所规定的合法权益!如网页中刊载的文章或图片涉及侵权,请提供相关的权利证明和身份证明发送邮件到qklwk88@163.com,本站相关工作人员将会进行核查处理回复