總覽
範本是一次部署當中的「配方」那一半。你租用的報價提供 GPU;其餘一切由範本提供 —— 映像檔、容器如何啟動、它拿到的環境變數與連接埠,以及它需要的硬體。把同一個範本啟動到不同的報價上,你會在不同的晶片上得到相同的環境。
範本位於主控台的 範本 頁面。每次部署都會指名一個範本。
範本固定了哪些內容
| 群組 | 欄位 | 細節 |
|---|---|---|
| 映像檔 | image、tag、選填的 repo 與連結 | 建立範本 |
| 啟動 | launch_mode、args_str、Jupyter 選項 | 啟動模式 |
| 啟動時執行 | onstart | 啟動時指令碼 |
| 環境 | env 項目,每一項都可選擇標示為機密 | 環境變數 |
| 連接埠 | 容器連接埠、通訊協定、標籤 | 連接埠 |
| 限制條件 | 最低 CUDA、最低 VRAM、架構、支援 VM、建議硬碟容量 | 建立範本 |
| 登錄庫 | 私有映像檔的使用者名稱與密碼 | 私有登錄庫 |
| 說明文件 | 描述與 readme | 建立範本 |
範本還帶有兩個識別碼:永遠不變的穩定 id,以及只要啟動配方一有變動就會重新產生的 hash_id。請參閱分享與複製。
三種可見層級
| 可見性 | 誰能讀取 | 誰能編輯 | 出現位置 |
|---|---|---|---|
system | 所有人 | 沒有人 —— 由 Superheat 精選維護,透過 API 無法修改 | 「推薦」分頁,標示為 精選 |
private | 僅限你的組織 | 你的組織 | 我的範本 |
public | 所有人 | 僅限擁有它的組織 | 「熱門」分頁與搜尋,對所有人開放 |
建立範本時,你可以選擇 private 或 public。system 不是你能設定的值:這類範本由 Superheat 預先建立,不屬於任何組織,對它們進行的任何寫入都會回傳 TEMPLATE_IMMUTABLE。若要以精選範本為基礎繼續開發,請複製一份 —— 副本屬於你,且一開始是私有的。
在每一種可見層級中,機密環境值對擁有組織以外的所有人都會被遮蔽。其他內容一概不會:公開範本會把它的映像檔、引數、啟動時指令碼、連接埠以及非機密的環境變數交給任何打開它的人。
範本一旦公開,你貼進 onstart、args_str 或非機密環境值裡的任何內容,每一位 Superheat 使用者都讀得到。請把權杖與金鑰放進標示為 機密 的環境變數項目中。
尋找範本
範本庫有五個分頁。
| 分頁 | 顯示內容 |
|---|---|
| 推薦 | 精選的 system 範本,依 Superheat 的排序 |
| 我的範本 | 你的組織擁有的所有範本,最近更新的排在最前面 |
| 最近使用 | 你的組織實際部署過的範本,最近的排在最前面 |
| 熱門 | system 與 public 範本,依啟動次數排序 |
| Serverless | 佔位項目 —— 自動擴充端點會在後續版本推出 |
格狀清單上方有一個搜尋框,會比對名稱、描述與映像檔。篩選標籤可依啟動模式(SSH、Jupyter、args、VM)、arm64 架構限制,以及宣告的最低 CUDA 為 11.8、12.1 或 12.4 來篩選。CUDA 篩選標籤是精確比對範本的 cuda_min,而不是把它當成下限,所以宣告 12.6 的範本不會被 12.4 篩選標籤找出來。
擁有權
範本屬於組織,永遠不屬於個別使用者。如果你隸屬於多個組織,切換組織會改變 我的範本 與 最近使用 顯示的內容,也決定你建立的東西歸哪個組織所有。透過 API 時,X-Org-Id 標頭做的是同一件事。
刪除範本會把它從範本庫移除。已經用它部署出來的執行個體會繼續執行,不受影響。