For the complete documentation index, see llms.txt. This page is also available as Markdown.

部分 GPU 租用

仅租用多 GPU 服务器上您需要的 GPU,并按比例付费。

部分租赁让你无需租用整台多 GPU 服务器,而是可以租用其中一部分 GPU。如果某台主机提供一台 8x RTX 4090 机器,而你只需要两张卡,那你就租两张,并按两张付费。

部分租赁正在逐步推出。它只会出现在运行最新托管软件且未选择退出的主机上,因此在任何时刻,只有市场的一部分提供此功能。随着主机更新,覆盖范围会不断扩大。

工作原理(租客)

  1. 开启 部分 GPU 租赁 筛选器(另外还有一个 最少可用 GPU 筛选器),或者查看支持的服务器卡片上的 N/M 个 GPU 空闲 徽标。

  2. 在租赁对话框中,在 GPU 分配 步骤中选择你想要的 GPU。价格会按你的份额比例变化:租用 8 个 GPU 中的 2 个,费用就是整台服务器价格的 2/8。

  3. 照常完成结账。你的订单会在一个隔离容器中运行,并且只使用分配给你的 GPU。

注意:

  • 仅限按需。 竞价始终会占用整台服务器。

  • 仅限同构机器。 部分租赁仅适用于所有 GPU 都是同一型号的服务器。混合 GPU 机器只能整机租赁。

  • 多位租客可以共享一台机器,每位租客都有自己的隔离容器和专属 GPU。单个 GPU 绝不会在两个订单之间共享。

  • GPU 归你的订单专用,而机器的 CPU、内存和磁盘会与同一服务器上运行的其他订单共享。

  • 计费仍按分钟计算,且适用常规费率结构。

对于主机

  • 符合条件的服务器默认启用部分租赁(同构 GPU、已更新托管软件)。你可以在服务器设置中按服务器单独选择退出。

  • 当服务器处于部分租赁状态时,超频更改会被阻止(应用时会显示警告)。

  • 价格沿用你常规的按服务器设置;租客则按每张 GPU 比例付费。

API

市场列表会在 partial_gpu_rental 字段中公开可用性: false 在不可用时,或一个包含以下内容的对象: total_gpus, available_gpus,以及 free_indices。要创建部分订单,请传入 gpu_count 给 create_order,并可选传入 gpu_indices 以选择确切的槽位。当 gpu_indices 被省略时,会自动分配空闲 GPU。

API

最后更新于

这有帮助吗?