疑難排解
症狀、成因、修法
| 症狀 | 成因 | 修法 |
|---|---|---|
SSH 出現 Connection refused | 你用了連接埠 22,或執行個體還沒進入 running | 從 連線 頁籤複製指令;等 running 徽章出現 |
你啟動的服務出現 Connection refused | 該連接埠在啟動時從未被發布 | 透過 SSH 轉送,或在範本上宣告它並重新部署 |
Permission denied (publickey) | 部署時沒有附加金鑰,或你的用戶端提供了另一把金鑰 | 附上金鑰重新部署;或用 -i 與 IdentitiesOnly=yes 指向正確的金鑰 |
REMOTE HOST IDENTIFICATION HAS CHANGED | 被回收的主機與連接埠現在屬於一個新的執行個體 | 執行 ssh-keygen -R "[host]:port",然後再連一次 |
執行個體卡在 creating | 大型映像檔還在拉取中 | 盯著 日誌 頁籤;如果它落入 error,銷毀後重新部署 |
執行個體處於 error | 工作負載啟動失敗 | 讀日誌、銷毀它、重新部署 — 它無法被啟動或停止 |
JupyterLab 回傳 403 Forbidden | 請求沒帶權杖,或帶的是過期的權杖 | 回到主控台,再按一次 開啟 JupyterLab |
| 瀏覽器警告憑證不受信任 | JupyterLab 以自我簽署憑證提供 HTTPS | 這是預期的;略過警告繼續 |
No space left on device | 你在部署時選的硬碟滿了 | 清出空間,或改用更大的硬碟重新部署 — 硬碟無法調整容量 |
| 執行個體自己停了 | 組織的餘額到達 $0 | 增加餘額,然後再啟動它 |
| 執行個體整個不見了 | 餘額到達 −$5,執行個體已被銷毀 | 硬碟已經沒了;增加餘額並重新部署 |
API 回傳 409 INVALID_STATE | 執行個體正在過渡中 | 等過渡狀態落定,再重試 |
部署或啟動時出現 402 INSUFFICIENT_BALANCE | 組織沒有餘額 | 由 admin 增加餘額;member 做不到 |
Connection refused
兩個不同的問題掛著同一則訊息。
如果是 SSH 本身,你幾乎可以確定是連錯了連接埠。執行個體的 sshd 發布在啟動時指派的主機連接埠上,絕不是 22,而且號碼在停止再啟動之後可能改變。請從 連線 頁籤重新複製指令。
如果是你在執行個體裡啟動的服務,那就是該連接埠沒有被發布。連接埠在執行個體啟動時就固定了,所以之後才啟動伺服器不會暴露任何東西。透過你已經建立的 SSH 工作階段轉送它:
ssh -N -L 8000:localhost:8000 -p 40123 root@sh-us-tx-01.ssh.superheat.dev
也請確認處理程序綁定在 0.0.0.0 而不是 127.0.0.1。請見連接埠與開啟按鈕。
Permission denied (publickey)
密碼驗證已停用,所以這永遠代表你的用戶端提供的金鑰不是 authorized_keys 裡的那一把。
ssh -i ~/.ssh/id_ed25519 -o IdentitiesOnly=yes -p 40123 root@sh-us-tx-01.ssh.superheat.dev
如果這樣還是失敗,執行個體很可能根本沒有金鑰 — 部署 頁面上的 SSH 金鑰選擇器被留在 不使用金鑰。沒有辦法替執行中的執行個體附加金鑰。請在 SSH 金鑰 底下加入金鑰,然後重新部署。請見新增金鑰。
卡在 creating
creating 通常遠在一分鐘之內就會完成。會拖長它的是映像檔拉取:一個好幾 GB 的映像檔,在從沒見過它的主機上,要多久就是多久。日誌 頁籤會顯示拉取那一行,接著是 image ready, creating container。
如果工作負載始終起不來,執行個體會自己轉為 error。它不會永遠卡在 creating。
處於 error 的執行個體
error 代表容器啟動失敗。原因只存在於日誌裡,所以在你清掉它之前先讀日誌:
- 不存在的映像檔或標籤,或是私有登錄庫憑證有誤的私有映像檔。
- 範本綁定的映像檔與啟動模式不符。
ssh與jupyter模式需要以 Superheat 基礎映像檔建置的映像檔。 - 工作負載在平台的啟動時間窗內始終沒有就緒。
onstart 失敗不在成因之列。基礎映像檔在子 shell 中執行它,把失敗寫進 /var/log/superheat/onstart.log,並讓容器繼續執行,好讓你能連進去修。
從 error 出發,唯一可用的動作是「銷毀」。修好範本,然後重新部署。請見讀取日誌。
JupyterLab 回傳 403
notebook 伺服器只接受一種憑證,也就是平台在部署時簽發的權杖。403 代表瀏覽器送出的是錯的權杖,或根本沒送,而這通常表示那個分頁是從書籤或複製來的網址開的,不是從主控台開的。
回到主控台裡的那個執行個體,按下 開啟 JupyterLab。那個按鈕會帶上平台為該執行個體簽發的權杖;手工拼出的網址不會。請見開啟 JupyterLab。
硬碟空間用完
df -h /
du -sh /workspace/* | sort -h | tail
常見的元凶是累積的檢查點與套件快取:
rm -rf ~/.cache/pip ~/.cache/huggingface
硬碟無法變大。如果這份工作真的需要更多空間,把手上的東西複製出執行個體、銷毀它,然後用更大的 disk_gb 重新部署。請見硬碟與儲存。
執行個體自己停了
當組織的餘額到達 $0 時,執行中的執行個體會被自動停止。什麼都不會遺失 — 硬碟保留著,一旦有餘額就能再次啟動。它停著的期間,儲存費用仍會從空的餘額扣,所以餘額會繼續往下沉。
如果餘額到達 −$5,執行個體會被銷毀,硬碟也跟著沒了。到計費頁面查看餘額與帳目,並參閱自動停止與自動銷毀。
在 $0 到 −$5 之間,你的資料還在。過了 −$5 就沒了,而且無法復原。