选择模板
模板是你的实例启动时所依据的配方:镜像和标签、启动模式、环境变量、端口、可选的启动脚本,以及该配方所需的机器约束。你在部署页面上选择模板,就在选好硬件之后。
系统模板与你自己的模板
| 精选(系统) | 私有 | 公开 | |
|---|---|---|---|
| 由谁维护 | Superheat | 你的组织 | 所属组织 |
| 谁可以看到 | 所有人 | 仅你的组织 | 所有人 |
| 谁可以编辑 | 没有人 —— 通过 API 也不可修改 | 所属组织 | 所属组织 |
| 卡片上的标记 | 精选 | 一个锁形图标 | 公开 |
从精选模板开始。它们是部署选择器默认提供的模板,其中大多数带有 [Automatic] 标签 —— 显示为 Automatic 标记 —— 它会在启动时解析为与你所选机器的 CUDA 版本相匹配的镜像标签。
当你需要特定的镜像、自己的环境变量、额外的端口或启动脚本时,就自己构建一个。任意模板上的复制会把它复制到你的组织中,成为一个你可以编辑的私有模板 —— 密钥值和私有镜像仓库凭据不会跨组织复制,因此你要重新输入自己的。参见创建模板。
各个标签页
模板页面把模板库分成五个标签页。
| 标签页 | 列出的内容 | 排序 |
|---|---|---|
| 推荐 | Superheat 精选模板 | 先按精选顺序,再按名称 |
| 我的模板 | 你的组织拥有的模板,包括私有和公开 | 最近编辑的在前 |
| 最近使用 | 你的组织已经部署过的模板 | 最近启动的在前 |
| 热门 | 精选模板和公开模板 | 按启动次数,从高到低 |
| Serverless | 暂无内容 —— 为自动伸缩、按请求计费的端点预留的占位 | — |
标签页下方是一个搜索框,可按名称、描述和镜像匹配,以及一行分面标签:启动模式的 SSH、Jupyter、args 和 VM,架构的 ARM,还有 CUDA 下限 11.8、12.1 和 12.4。这些标签可以切换;点击已激活的标签即可清除它。Serverless 标签页会把它们隐藏,因为那里没有可筛选的内容。
每张卡片都带有模板名称、镜像引用、启动模式标记、诸如 CUDA 12.4、Automatic 或 ARM 这样的派生标记,以及启动次数。打开一张卡片会显示完整的配方 —— 镜像、Jupyter 设置、环境、端口、参数、启动脚本、机器约束和说明文档。标记为密钥的环境值会保持遮蔽,除非该模板归你的组织所有。
让模板出现在部署页面上
部署页面的选择器列出的是精选模板,因此你自己的私有模板不会自动出现在那里。改为从模板库启动它:在卡片上或其详情对话框中按启动,在市场中挑选硬件,模板就会一路跟着你。只要它适配你所选的机器,就会被固定在选择器最前面并预先选中。
兼容性检查如何工作
选定报价后,选择器中的每个模板都会针对那台机器进行检查。不兼容的模板会变暗且无法点击;把鼠标悬停在上面会显示原因。如果你从模板库启动的那个模板通过了检查,页面就会预先选中它,否则选中第一个通过检查的模板。
如果选择器中没有任何模板适配这台机器,部署按钮旁会出现一个错误面板,写着:“模板无法在这台机器上运行”,并给出原因,以及选择兼容模板或改选其他 GPU 的建议。在你照做之前,部署按钮会一直保持禁用。
检查按以下顺序执行,你看到的原因就是第一个失败的那项。
| 检查项 | 失败条件 | 提示内容 |
|---|---|---|
| 可用性 | 模板被标记为即将推出 | 该模板尚不可启动 |
| 架构 | 模板声明了 amd64/x86_64 之外的架构 | 需要 ARM (arm64) 硬件;Superheat 主机为 x86_64 |
| 虚拟化 | 启动模式为 vm,或模板要求支持虚拟机的主机,而该报价并非如此 | 这台机器不支持虚拟机 |
| CUDA(过旧) | 模板的 cuda_min 高于机器的最高 CUDA | 需要 CUDA ≥ 12.4;这台机器为 12.1 |
| CUDA(过新) | 模板的 cuda_max 低于机器的最高 CUDA | 该模板锁定了较旧的 CUDA 栈(最高支持 12.4);这台机器为 12.8 |
| 显存 | 模板的最小显存高于报价的每卡显存 | 需要 ≥ 48 GB 显存;这台机器为 24 GB |
有两点细节值得了解:
- 显存检查针对的是每卡显存,而不是切片总量。由 24 GB 显卡组成的 4× 切片不满足 48 GB 的要求。
- 模板推荐的磁盘容量是建议,不是约束。它出现在模板的机器约束中,写作:“建议 N GB 磁盘”;兼容性检查会忽略它,部署页面的磁盘滑块也不会采用它 —— 滑块从自己的默认值开始。
这项检查只是为了方便,并不是强制执行点。API 对虚拟机模板应用同样的规则,在不支持虚拟机的机器上使用虚拟机模板会被以 422 拒绝,无论请求来自控制台还是你自己的代码。
ssh 和 jupyter 启动模式还有一项不属于本检查的额外要求:镜像必须派生自 Superheat 基础镜像,因为原始镜像既没有 SSH 服务器,也没有可启动的 JupyterLab。args 和 vm 可以运行任何镜像。参见启动模式和基础镜像。
“即将推出”是什么意思
有些模板在其执行路径尚未存在时就已发布。它们带有即将推出标记,兼容性检查会在每台机器上拒绝它们,因此它们永远无法走到部署那一步。在卡片上,启动按钮被禁用,工具提示为:“执行功能将在后续版本中发布。”;在详情对话框中,同一个按钮被禁用,并显示为即将推出。
Serverless 标签页是同样的想法在模板库这个层面上的体现:它是一个仍在开发中的功能的占位,返回的结果始终为空。目前它既不可筛选,也不可启动。
即将推出的模板仍然可读 —— 打开一个就能查看它的镜像、环境和端口 —— 你也可以把它复制到自己的组织中。副本会保留该标记,所以复制出来的模板同样无法启动。