跳至主要內容

疑難排解

症狀、成因、修法​

症狀成因修法
SSH 出現 Connection refused你用了連接埠 22,或執行個體還沒進入 running從 連線 頁籤複製指令;等 running 徽章出現
你啟動的服務出現 Connection refused該連接埠在啟動時從未被發布透過 SSH 轉送,或在範本上宣告它並重新部署
Permission denied (publickey)部署時沒有附加金鑰,或你的用戶端提供了另一把金鑰附上金鑰重新部署;或用 -i 與 IdentitiesOnly=yes 指向正確的金鑰
REMOTE HOST IDENTIFICATION HAS CHANGED被回收的主機與連接埠現在屬於一個新的執行個體執行 ssh-keygen -R "[host]:port",然後再連一次
執行個體卡在 creating大型映像檔還在拉取中盯著 日誌 頁籤;如果它落入 error,銷毀後重新部署
執行個體處於 error工作負載啟動失敗、在執行時失敗或遺失,或是自己跑完了。執行個體頁面上的 發生了什麼問題 會說明是哪一種,API 的 error_code 也會 — 請參閱執行個體為何失敗讀日誌、銷毀它、重新部署 — 它無法被啟動或停止
JupyterLab 回傳 403 Forbidden請求沒帶權杖,或帶的是過期的權杖回到主控台,再按一次 開啟 JupyterLab
範本的網頁介面或 API 回應 401這個連接埠要求執行個體存取權杖,而請求既沒有帶權杖,也沒有 開啟 按鈕設定的 cookie用 開啟 按鈕開啟它,或從指令碼送出 Authorization: Bearer <access token>。請見執行個體存取權杖
瀏覽器警告憑證不受信任JupyterLab 以自我簽署憑證提供 HTTPS這是預期的;略過警告繼續
No space left on device你在部署時選的硬碟滿了清出空間,或改用更大的硬碟重新部署 — 硬碟無法調整容量
執行個體自己停了組織的餘額到達 $0。這次停止也在機器支援的情況下釋放了它的 GPU把餘額加到足以支付組織所有執行項目一小時的費用,然後再啟動它
執行個體在停止後又回到 running主機在 30 分鐘內沒有確認停止;容器還在執行,也還在計費。執行個體頁面會顯示 上一個操作沒有完成,API 的 error_code 為 stop_timed_out什麼都不用做 — 停止會自動重試。如果你不需要這個執行個體,就銷毀它
啟動被 HOST_UNREACHABLE、START_REFUSED 或 START_UNAVAILABLE 拒絕主機接不下這次啟動;執行個體仍是 stopped稍後再啟動一次。如果 START_REFUSED 一再出現,就銷毀執行個體並重新部署
啟動被 CAPACITY_UNAVAILABLE 拒絕執行個體的 GPU 已被釋放 — 餘額到達 $0,或一筆付款爭議凍結了付款 — 而另一位租用者現在正在使用其中一張。執行個體頁面會顯示 GPU 已釋放稍後再啟動一次。如果等不及,就先把資料複製出來再銷毀它
一個已停止的執行個體轉為 error,原因是 workload_gone它的容器在停止期間從機器上消失了它不再產生任何費用。銷毀它並重新部署;如果你不銷毀,它會在大約一小時後被自動銷毀
執行個體整個不見了餘額在 $0 或以下持續 24 小時並到達 −$5,已停止的執行個體被銷毀了硬碟已經沒了;增加餘額並重新部署
API 回傳 409 INVALID_STATE執行個體正在過渡中等過渡狀態落定,再重試
部署或啟動時出現 402 INSUFFICIENT_BALANCE餘額不足以支付組織在這個執行個體執行時一小時的消耗——它的 GPU 與硬碟,加上其他執行個體的費用。餘額大於零並不夠。錯誤中帶有 balance_micro 與 required_micro由 admin 增加餘額;member 做不到

Connection refused​

兩個不同的問題掛著同一則訊息。

如果是 SSH 本身,你幾乎可以確定是連錯了連接埠。執行個體的 sshd 發布在啟動時指派的主機連接埠上,絕不是 22,而且號碼在停止再啟動之後可能改變。請從 連線 頁籤重新複製指令。

如果是你在執行個體裡啟動的服務,那就是該連接埠沒有被發布。連接埠在執行個體啟動時就固定了,所以之後才啟動伺服器不會暴露任何東西。透過你已經建立的 SSH 工作階段轉送它:

ssh -N -L 8000:localhost:8000 -p 40123 root@203.0.113.14

也請確認處理程序綁定在 0.0.0.0 而不是 127.0.0.1 — 除非該連接埠位在存取代理後面,那樣的話應用程式就該在 127.0.0.1 上。請見連接埠與開啟按鈕。

Permission denied (publickey)​

密碼驗證已停用,所以這永遠代表你的用戶端提供的金鑰不是 authorized_keys 裡的那一把。

ssh -i ~/.ssh/id_ed25519 -o IdentitiesOnly=yes -p 40123 root@203.0.113.14

如果這樣還是失敗,執行個體很可能根本沒有金鑰 — 部署 頁面上的 SSH 金鑰選擇器被留在 不使用金鑰。沒有辦法替執行中的執行個體附加金鑰。請在 SSH 金鑰 底下加入金鑰,然後重新部署。請見新增金鑰。

卡在 creating​

creating 通常遠在一分鐘之內就會完成。會拖長它的是映像檔拉取:一個好幾 GB 的映像檔,在從沒見過它的主機上,要多久就是多久。日誌 頁籤會顯示拉取那一行,接著是 image ready, creating container。

如果工作負載始終起不來,執行個體會自己轉為 error。它不會永遠卡在 creating。

處於 error 的執行個體​

error 代表容器啟動失敗。原因只存在於日誌裡,所以在你清掉它之前先讀日誌:

  • 不存在的映像檔或標籤,或是私有登錄庫憑證有誤的私有映像檔。
  • 範本綁定的映像檔與啟動模式不符。ssh 與 jupyter 模式需要以 Superheat 基礎映像檔建置的映像檔。
  • 工作負載在平台的啟動時間窗內始終沒有就緒。

onstart 失敗不在成因之列。基礎映像檔在子 shell 中執行它,把失敗寫進 /var/log/superheat/onstart.log,並讓容器繼續執行,好讓你能連進去修。

從 error 出發,唯一可用的動作是「銷毀」。修好範本,然後重新部署。請見讀取日誌。

JupyterLab 回傳 403​

notebook 伺服器只接受一種憑證,也就是平台在部署時簽發的權杖。403 代表瀏覽器送出的是錯的權杖,或根本沒送,而這通常表示那個分頁是從書籤或複製來的網址開的,不是從主控台開的。

回到主控台裡的那個執行個體,按下 開啟 JupyterLab。那個按鈕會帶上平台為該執行個體簽發的權杖;手工拼出的網址不會。請見開啟 JupyterLab。

硬碟空間用完​

df -h /
du -sh /workspace/* | sort -h | tail

常見的元凶是累積的檢查點與套件快取:

rm -rf ~/.cache/pip ~/.cache/huggingface

硬碟無法變大。如果這份工作真的需要更多空間,把手上的東西複製出執行個體、銷毀它,然後用更大的 disk_gb 重新部署。請見硬碟與儲存。

執行個體自己停了​

當組織的餘額到達 $0 時,執行中的執行個體會被自動停止。什麼都不會遺失 — 硬碟保留著,一旦餘額足以支付這個執行個體一小時的費用(GPU 加上硬碟),再加上組織其他執行項目一小時的費用,就能再次啟動它。它停著的期間,儲存費用仍會從空的餘額扣,所以餘額會繼續往下沉。

這次停止也會在機器支援的情況下把執行個體的 GPU 釋回機器;零餘額對你自己停止的執行個體也是一樣。之後的啟動必須取回同樣的 GPU:如果另一位租用者正在使用其中一張,啟動會以 409 CAPACITY_UNAVAILABLE 被拒絕,執行個體連同硬碟維持停止。請參閱停止與銷毀。

如果餘額在 $0 或以下持續 24 小時並到達 −$5,已停止的執行個體會被銷毀,硬碟也跟著沒了。到計費頁面查看餘額與帳目,並參閱自動停止與自動銷毀。

在第二道門檻之前先儲值

餘額低於 $0 之後,你的資料至少還會保留 24 小時,並且會保留到餘額降到 −$5 為止。兩者都過了之後,已停止的執行個體會被銷毀,而且無法復原。

相關內容​