概览
模板是一次部署中“配方”的那一半。你租用的报价提供 GPU,模板提供其余的一切——镜像、容器如何启动、它拿到的环境变量和端口,以及它需要的硬件。把同一个模板启动到另一个报价上,你会在不同的芯片上得到相同的环境。
模板位于控制台的模板页。每次部署都要指定一个模板。
模板固定了哪些内容
| 分组 | 字段 | 详情 |
|---|---|---|
| 镜像 | image、tag、可选的 repo 与链接 | 创建模板 |
| 启动 | launch_mode、args_str、Jupyter 选项 | 启动模式 |
| 启动脚本 | onstart | 启动脚本 |
| 环境 | env 条目,每条可选择标记为私密 | 环境变量 |
| 端口 | 容器端口、协议、标签 | 端口 |
| 约束 | 最低 CUDA、最低显存、架构、是否支持 VM、推荐磁盘 | 创建模板 |
| 镜像仓库 | 私有镜像的用户名与密码 | 私有镜像仓库 |
| 文档 | 描述与 readme | 创建模板 |
模板还带有两个标识符:一个永不改变的稳定 id,以及一个只要启动配方发生变化就会重新生成的 hash_id。参见分享与复制。
三种可见性级别
| 可见性 | 谁能读 | 谁能编辑 | 出现在哪里 |
|---|---|---|---|
system | 所有人 | 没有人——由 Superheat 精选维护,通过 API 不可修改 | 推荐标签页,标记为精选 |
private | 仅你的组织 | 你的组织 | 我的模板 |
public | 所有人 | 仅所属组织 | 热门标签页与搜索结果,对所有人可见 |
创建模板时你可以选择 private 或 public。system 不是你能设置的值:这类模板由 Superheat 预置,不属于任何组织,对其执行任何写操作都会返回 TEMPLATE_IMMUTABLE。若要在精选模板的基础上构建,先复制它——副本归你所有,且初始为私有。
在所有可见性级别下,私密环境值对所属组织之外的所有人都会被遮蔽。除此之外没有任何内容被遮蔽:公开模板会把它的镜像、参数、启动脚本、端口和非私密环境变量交给每一个打开它的人。
只要模板变为公开,你粘贴进 onstart、args_str 或任何非私密环境值里的内容,每一位 Superheat 用户都能读到。请把令牌和密钥放进标记为私密的环境变量条目中。
找到一个模板
模板库有五个标签页。
| 标签页 | 显示内容 |
|---|---|
| 推荐 | 精选的 system 模板,按 Superheat 的排序 |
| 我的模板 | 你的组织拥有的全部模板,最近更新的排在前面 |
| 最近使用 | 你的组织确实部署过的模板,最近的排在前面 |
| 热门 | system 与 public 模板,按启动次数排序 |
| Serverless | 占位——自动扩缩的端点将在后续版本发布 |
网格上方有一个搜索框,按名称、描述和镜像匹配。筛选标签可按启动模式(SSH、Jupyter、args、VM)、arm64 架构约束,以及声明的最低 CUDA 11.8、12.1 或 12.4 进行过滤。CUDA 筛选标签精确匹配模板的 cuda_min,而不是把它当作下限,因此声明 12.6 的模板不会被 12.4 标签选出。
归属
模板属于组织,而不属于用户。如果你隶属于多个组织,切换组织会改变我的模板和最近使用的显示内容,并决定你创建的一切归哪个组织所有。在 API 中,X-Org-Id 请求头做同样的选择。
删除模板会把它从模板库中移除。已经由它部署出来的实例继续运行,不受影响。