選擇範本
範本是你的執行個體開機時依循的配方:映像檔與標籤、啟動模式、環境變數、連接埠、選用的啟動指令碼,以及這份配方所需的機器條件。你在部署頁面上選一個範本,就在挑完硬體之後。
系統範本與你自己的範本
| 精選(系統) | 私人 | 公開 | |
|---|---|---|---|
| 由誰維護 | Superheat | 你的組織 | 擁有它的組織 |
| 誰看得到 | 所有人 | 僅限你的組織 | 所有人 |
| 誰能編輯 | 沒有人 —— 透過 API 也不可變更 | 擁有它的組織 | 擁有它的組織 |
| 卡片上的徽章 | 精選 | 鎖頭圖示 | 公開 |
先從精選範本開始。部署頁面的選擇器預設提供的就是這些,而且大多帶有 [Automatic] 標籤 —— 顯示為 自動 徽章 —— 它會在啟動時解析成與你所選機器 CUDA 版本相符的映像檔標籤。
當你需要特定映像檔、自己的環境變數、額外的連接埠或啟動指令碼時,就自己建一個。在任何範本上按 複製 都會把它複製成你組織裡一個可編輯的私人範本 —— 機密值與私有 registry 憑證不會跨組織複製,所以你要自己重新輸入。請參閱建立範本。
各個分頁
範本 頁面把範本庫分成五個分頁。
| 分頁 | 列出什麼 | 排序 |
|---|---|---|
| 推薦 | Superheat 精選範本 | 精選順序,再依名稱 |
| 我的範本 | 你的組織擁有的範本,包含私人與公開 | 最近編輯的排前面 |
| 最近使用 | 你的組織已經部署過的範本 | 最近啟動的排前面 |
| 熱門 | 精選與公開範本 | 啟動次數,最高的排前面 |
| 無伺服器 | 目前還沒有內容 —— 這是為自動擴縮、按請求計費的端點預留的位置 | — |
分頁下方有一個搜尋框,會比對名稱、描述與映像檔,還有一排分面篩選標籤:啟動模式的 SSH、Jupyter、args 與 VM,架構的 ARM,以及 CUDA 下限 11.8、12.1 與 12.4。這些標籤是切換式的;點一下已啟用的標籤就會清除它。無伺服器分頁會把它們隱藏起來,因為沒有東西可以篩選。
每張卡片會帶有範本名稱、映像檔參照、啟動模式徽章、CUDA 12.4、Automatic 或 ARM 這類推導出來的徽章,以及啟動次數。開啟卡片會顯示完整配方 —— 映像檔、Jupyter 設定、環境、連接埠、引數、啟動指令碼、機器條件與讀我說明。標記為機密的環境值會保持遮蔽,除非該範本屬於你的組織。
把範本帶到部署頁面
部署頁面的選擇器列出的是精選範本,所以你自己的私人範本不會自動出現在那裡。改成從範本庫啟動它:在卡片上或它的詳細資料對話框中按 啟動,在市集裡挑硬體,範本就會跟著你走。只要它適用於你選的機器,它就會被釘在選擇器最前面並預先選取。
相容性檢查怎麼運作
一旦選定報價,選擇器裡的每個範本都會拿去對照那台機器檢查。不相容的會變暗且無法點選;把游標移上去會顯示原因。如果你從範本庫啟動的範本通過檢查,頁面會預先選取它,否則就選第一個通過的。
如果選擇器裡沒有任何範本適用於這台機器,部署按鈕旁會出現一個錯誤面板,寫著 「範本無法在這台機器上執行」,附上原因以及「請挑選相容的範本或換一張 GPU」的建議。在你照做之前,部署按鈕會維持停用。
檢查依下列順序執行,你看到的原因就是第一個失敗的項目。
| 檢查 | 何時失敗 | 你會看到什麼訊息 |
|---|---|---|
| 可用性 | 範本被標記為即將推出 | 這個範本還無法啟動 |
| 架構 | 範本宣告的架構不是 amd64/x86_64 | 需要 ARM(arm64)硬體;Superheat 主機是 x86_64 |
| 虛擬化 | 啟動模式是 vm,或範本需要具備 VM 能力的主機,而該報價不是 | 這台機器不具備 VM 能力 |
| CUDA(過舊) | 範本的 cuda_min 高於機器的 Max CUDA | 需要 CUDA ≥ 12.4;這台機器是 12.1 |
| CUDA(過新) | 範本的 cuda_max 低於機器的 Max CUDA | 該範本鎖定較舊的 CUDA 堆疊(最高支援 12.4);這台機器是 12.8 |
| VRAM | 範本的最低 VRAM 高於報價的每張卡 VRAM | 需要 ≥ 48 GB VRAM;這台機器只有 24 GB |
有兩個細節值得知道:
- VRAM 檢查比對的是每張卡的 VRAM,不是切片總量。24 GB 卡的 4× 切片並不滿足 48 GB 的需求。
- 範本的建議硬碟容量是建議,不是限制條件。它會出現在範本的機器條件中,寫成 「建議 N GB 硬碟」,相容性檢查會忽略它,部署頁面的硬碟滑桿也不會採用它 —— 滑桿是從自己的預設值開始。
這項檢查是為了方便,不是強制執行的關卡。API 對 VM 範本套用同樣的規則,並且會用 422 拒絕在不具 VM 能力的機器上使用 VM 範本,不論請求來自主控台或你自己的程式碼。
ssh 與 jupyter 啟動模式還有一項不屬於這項檢查的額外要求:映像檔必須衍生自 Superheat 基礎映像檔,因為原廠映像檔沒有 SSH 伺服器,也沒有可以啟動的 JupyterLab。args 與 vm 則可以執行任何映像檔。請參閱啟動模式與基礎映像檔。
「即將推出」是什麼意思
有些範本在執行路徑存在之前就先發布了。它們會帶有 即將推出 徽章,而且相容性檢查會在每一台機器上拒絕它們,所以它們永遠到不了部署那一步。在卡片上,啟動 按鈕會停用並顯示工具提示 「執行功能會在後續版本推出。」;在詳細資料對話框中,同一個按鈕會停用並寫著 即將推出。
無伺服器 分頁是同一個概念放大到整個範本庫的版本:它是為一項仍在開發中的功能預留的位置,而且永遠回傳空的。目前它沒有任何東西可以篩選或啟動。
即將推出的範本仍然可以讀取 —— 開啟一個來檢視它的映像檔、環境與連接埠 —— 而且你可以把它複製到你的組織。複製品會保留這個標記,所以副本一樣無法啟動。