恒创科技

广告

hostinger

广告

UCloud AstraFlow星图平台正式上线Auto Router自动路由(预览版)

美国云服务器推荐

近日,UCloud AstraFlow星图平台正式上线了Auto Router自动路由功能,帮助开发者在保持统一调用方式的同时,实现模型的智能调度。

UCloud

UCloud AstraFlow星图Auto Router自动路由功能主要特性:

  • 智能路由:综合任务类型、Prompt复杂度、上下文长度等,毫秒级完成模型选择。
  • 自动调度:根据模型能力特点与成本偏好,自动路由至更合适的模型。
  • 调用不变:业务代码调用方式保持不变,调度由平台自动完成。

1、根据任务特征,自动选择合适模型

使用方式非常简单,只需将请求中的model参数设置为auto。收到请求后,Auto Router会综合分析多个维度的信息,包括任务类型、Prompt复杂度、上下文长度、模型能力特点以及成本偏好等,在毫秒级完成模型选择,并将请求路由至当前更适合执行该任务的模型。

对于业务代码而言,调用方式保持不变;模型的选择与调度则由平台自动完成。

2、在效果与成本之间取得更优平衡

在复杂软件工程评测集SWE Bench Pro上,Auto Router的测试结果如下:

UCloud

从测试结果可以看到,相比固定使用单一模型,Auto Router在保持甚至提升任务效果的同时,整体调用成本下降约50%。

其核心原因在于,系统能够根据任务复杂度进行自动分配:对于大量长文本、常规分析等任务,优先选择性价比较高的模型;而对于推理要求较高的复杂任务,则自动调用能力更强的模型,从而实现资源的合理利用。

3、降低模型管理成本

除了优化推理成本,Auto Router也降低了模型迭代带来的维护压力。

对业务团队:

  • 无需持续关注不同模型的能力变化和价格调整;
  • 平台新增模型或升级模型能力后,业务代码无需修改即可获得最新能力;
  • 降低模型切换带来的开发与维护成本。

对研发团队:

  • 兼容OpenAI API,无需改变现有调用方式;
  • 返回结果中的model字段会记录本次实际调用的模型,方便日志分析、成本统计及效果评估;
  • 支持通过allowed_models参数限制可参与路由的模型范围,满足不同业务场景下的合规、灰度发布及预算管理需求。

如何快速接入

只需将请求中的model参数修改为auto:

{  "model": "auto",  "messages": [    {      "role": "user",      "content": "请分析这段代码中潜在的并发安全问题。"    }  ]}

接入完成后,Auto Router将根据任务特点自动完成模型选择与调度,在保持统一接口的同时,帮助开发者兼顾模型效果、调用成本和工程维护效率。

登录星图平台:UCloud AstraFlow星图平台

(本文由美国主机侦探原创,转载请注明出处“美国主机侦探”和原文地址!)

主机侦探企业微信

微信扫码加好友进群

主机优惠码及时掌握

主机侦探QQ群

QQ群号:164393063

主机优惠发布与交流

温馨提示:

1、本站部分图片来源于互联网,如有侵权请联系删除。邮箱:2942802716#qq.com(#改为@)

2、本文评论没有专人回复,如果您有问题请到美国主机侦探论坛提问!

3、美国主机侦探免费为您提供美国主机购买咨询。

RakSmart美国服务器
下一篇
UCloud
已经没有了
返回顶部