跳至主要內容

部署執行個體

部署頁面是兩步驟中的第 2 步：你帶著已經選好的機器來到這裡，決定要在上面跑什麼。頁首寫著 設定與部署，而 返回 GPU 清單 會把你帶回市集，不會遺失任何設定。

逐欄看表單​

報價​

報價不是表單欄位 —— 它是從市集帶進來的，並以摘要卡片的形式顯示在最上方：GPU 型號、切片大小、每張卡 VRAM、位置與每小時價格。這次部署它是固定的。要換機器，就回上一步挑另一張卡片。

有兩種狀態會取代表單，而不是把表單顯示出來：

你會看到什麼原因
「未選擇 GPU」你沒有經過市集就直接開啟這個頁面
「該報價已消失」這項報價在你選取之後、到現在之間被下架了

範本​

一格一格的範本卡片，每一個都會拿去對照你選的機器檢查。不相容的範本會變暗且無法點選，第一個相容的會被預先選取。選擇器列出精選範本；如果你是按範本庫裡的 啟動 進來的，那個範本會被釘在最前面。請參閱選擇範本。

硬碟​

一個滑桿，目前的值以 GB 或 TB 顯示在它上方。

最小10 GB
最大主機機器的硬碟容量，顯示在滑桿下方，寫成 「這台機器最大 N」
級距10 GB
預設50 GB

API 接受 10 到 20,000 之間任何值的 disk_gb，但如果你要求的容量超過所選機器實際擁有的，請求會被拒絕，錯誤訊息會告訴你那台機器的上限。

這個值要慎重決定。執行個體停止期間你付的就是硬碟的錢，費率是滑桿下方標示的每 GB 每月費率，而且之後無法調整容量 —— 想要更大的硬碟就等於要開一台新的執行個體。

SSH 金鑰​

一個下拉選單，列出你帳號上的 SSH 金鑰，預設為 不使用金鑰（僅限網頁終端機）。旁邊的 新增金鑰 會開啟與 SSH 金鑰頁面相同的對話框，讓你不用離開表單就能貼上公開金鑰。

SSH 金鑰屬於你個人，不屬於你的組織：同一個組織裡的團隊成員各自部署時，各自掛上自己的金鑰。金鑰是在啟動時安裝的，所以事後再新增金鑰不會影響已經在執行的執行個體 —— 執行個體頁面上的連線指令，驗證用的就是你在這裡掛上的金鑰。

維持 不使用金鑰 就會讓執行個體在完全沒有授權金鑰的情況下啟動，也就是沒有 ssh 工作階段。只有在範本提供瀏覽器入口時才選它，例如 jupyter 範本。

標籤​

選填的自由文字，最多 64 個字元，用來讓你日後分辨不同的執行個體 —— 用 llama-finetune 而不是一段 UUID 前綴。沒有填的話，主控台會退而使用執行個體 id 的前八個字元。標籤只是中繼資料；容器內部看不到它。

環境變數覆寫​

主控台表單沒有開放這一項。API 有：POST /v1/instances 上的 env_overrides 接受一組 {key, value} 配對，會依 key 覆寫範本宣告的環境，這就是你在不編輯範本的情況下填入範本空白機密值的方法。

有三條規則：

  • 同一個 key 上，你的值勝過範本的值。
  • 沒有值的項目會被丟棄，而不是設成空字串。
  • 平台自己的變數永遠勝過你的。你無法蓋掉 JUPYTER_TOKEN、GPU_COUNT 或執行個體存取權杖。

請參閱環境變數與執行個體 API。

請求內容​

上面所有東西會落在一次呼叫裡：

{
  "offer_id": "e1c0…",
  "template_id": "9b74…",
  "disk_gb": 100,
  "label": "llama-finetune",
  "ssh_key_id": "3f21…",
  "env_overrides": [{ "key": "HF_TOKEN", "value": "hf_…" }]
}

label、ssh_key_id 與 env_overrides 是選填的；前三個欄位不是。

按鈕生效前的條件​

只要下列任一項成立，部署執行個體 按鈕就會維持停用：

條件該怎麼做
餘額為零或以下儲值。管理員會在面板中看到 儲值餘額 捷徑；成員則會被告知去找管理員
所選範本與機器不相容換一個範本，或換一張 GPU
沒有選取任何範本挑一個
已經有一次部署在進行中等一下 —— 按鈕會寫著 「部署中…」

按鈕只檢查餘額是否大於零。部署本身則要求餘額足以支付這個執行個體一小時的費用，再加上組織已在執行的所有東西一小時的費用（見下方第 2 步），所以一筆不多的正餘額可能讓按鈕可以按，部署卻仍然因餘額不足被拒絕。

按下部署之後​

  1. 報價會被鎖定並重新檢查。如果它已經不可用，部署就在這裡失敗，後面什麼都不會執行。
  2. 硬碟、範本與 SSH 金鑰會通過驗證 —— 包括你的組織能不能部署這個範本、這台機器能不能被固定 —— 接著檢查你的餘額。餘額必須足以支付這個執行個體一小時的費用 —— GPU 加上你挑的硬碟 —— 再加上組織已在執行的所有東西一小時的費用：執行中、啟動中或建立中執行個體的 GPU 與硬碟，以及已停止執行個體的硬碟。大於零並不夠。組織裡尚未銷毀的執行個體也必須少於 25 個；已停止與處於 error 的都算在內。
  3. 到這時才會從那台機器上每一個與你重疊的規格裡扣掉你的單位，而執行個體會以 creating 建立。如果這樣一來那台機器就少了一張 GPU —— 另一個部署在同一瞬間拿走了它 —— 部署會以無法使用被拒絕，什麼都不會保留下來。沒有人能拿走你的 GPU；而只要那台機器還有空著的 GPU，同一項報價就仍然租得到。主控台會把你帶到它的頁面，顯示訊息 「部署中 — 你的執行個體正在啟動」。
  4. 執行個體處於過渡狀態期間，頁面每三秒自我輪詢一次，畫面上的提示寫著 「正在佈建你的機器…」。
  5. 當執行個體進入 running，連線資訊就會出現 —— 現成的 ssh -p <port> <user>@<host> 指令，以及 jupyter 範本會有的 開啟 JupyterLab 按鈕。在那之前，該分頁會顯示連線資訊要等執行個體開始執行後才會出現。

計費不是在你按下按鈕時開始。計量器是在工作負載回報 running 時才啟動，所以佈建的那段時間不花錢，永遠沒跑起來的部署也一樣不花錢。

部署失敗時​

錯誤意義主控台的處理
報價無法使用有人先一步拿走那個切片把你送回市集
餘額不足餘額不足以在組織已在執行的東西之外，再支付這個執行個體一小時的費用跳出快顯通知 「部署需要預先備妥約 {amount} 的額度。請先儲值額度。」，其中 {amount} 是 API 回傳的 required_micro，並重新整理餘額。只有餘額為零或為負時才會出現儲值提示
硬碟太大disk_gb 超過主機機器的硬碟容量回報那台機器的上限
找不到範本範本 id 不明或已不再啟用在頁面內顯示訊息
找不到 SSH 金鑰該金鑰 id 不屬於你在頁面內顯示訊息
機器不具備 VM 能力在無法執行 VM 的機器上使用 vm 範本在頁面內顯示訊息
機器進入維護這台機器已排定下線，時間太近，無法在上面啟動指出那個日期，並把你送回市集
付款已凍結這個組織有一筆付款爭議還沒結案顯示訊息
已達執行個體上限這個組織已經有 25 個尚未銷毀的執行個體，已停止與處於 error 的都算在內提示你先銷毀一個，並重新整理你的執行個體清單
機器無法部署這台機器沒有在控制平面註冊，部署無法固定到它上面顯示 「這台機器目前無法部署。請選擇其他機器。」
範本需要其擁有者另一個組織的範本，而且從私有登錄庫拉取顯示訊息。想用這個映像檔，就複製範本並填入你自己的登錄庫憑證

另外有三個錯誤代碼只會出現在 API 呼叫中：TEMPLATE_COMING_SOON、TEMPLATE_CUDA_TOO_NEW 與 TEMPLATE_ARCH_UNSUPPORTED。主控台已經在選擇器裡把這些範本變暗，並在卡片上寫出原因。

在上面任何一步被拒絕的部署，不會建立任何東西，也不會收任何費用。而通過這些檢查、之後在佈建途中失敗的部署則不同：執行個體那一列確實存在，會停在 error，並被自動清掉 —— 它不會計費，因為計量器要等工作負載回報 running 才啟動，而這一個從來沒到過。完整清單在錯誤代碼。

執行個體一跑起來，計量器就開始計費

這個頁面之後沒有確認步驟。從執行個體進入 running 的那一刻起，你就開始按秒計費，而之後把它停止仍然會針對硬碟計費。在你放著不管之前，先讀停止與銷毀的差別。

相關內容​