認識wget命令：命令行下的下載瑞士軍刀
在Linux/Unix命令行世界中，wget命令無疑是下載文件和整個網站內容的「瑞士軍刀」。它是一個免費、非交互式的網絡下載器，支持HTTP、HTTPS和FTP協議，能夠在沒有用戶交互的情況下，從Web或FTP服務器下載文件，甚至整個網站。無論您是需要下載一個大型ISO文件、備份一個重要的網頁，還是自動化數據抓取任務，wget都能提供強大而靈活的解決方案。
wget命令的強大之處在於其一系列高級功能，包括：
- 斷點續傳： 在網絡中斷後，可以從上次停止的地方繼續下載，無需重新開始。
- 遞歸下載： 能夠自動跟蹤鏈接，下載整個網站或指定深度的內容。
- 後台運行： 允許在下載過程中關閉終端，而下載任務繼續在後台進行。
- 時間戳驗證： 只下載比本地文件新的版本，節省帶寬和時間。
- 帶寬限制： 控制下載速度，避免佔用過多網絡資源。
- 代理支持： 能夠通過HTTP或SOCKS代理進行下載。
本文將深入探討wget命令的各項功能，從基本用法到高級技巧，並結合具體的應用場景，幫助您充分發揮其強大的下載能力。
wget命令的基本語法與入門
wget命令的基本語法非常簡單直觀，通常只需要提供要下載的資源的URL即可。
基本格式：
wget [選項] [URL]
簡單示例：下載單個文件
假設您想下載一個名為example.zip的壓縮包：
wget https://example.com/files/example.zip
執行此命令后，wget將嘗試從指定的URL下載文件，並將其保存到當前目錄，文件名與遠程文件名相同（即example.zip）。
常用選項與實踐：精通wget的核心功能
1. 下載到指定文件名或目錄
默認情況下，wget會將文件保存到當前目錄，並使用遠程文件的原始名稱。但很多時候，我們希望自定義本地文件名或存放路徑。
指定輸出文件名：-O (大寫O)
使用-O選項可以指定下載文件的本地名稱。
wget -O my_local_archive.zip https://example.com/files/original_name.zip
這會將original_name.zip下載並保存為my_local_archive.zip。
指定下載目錄：-P
使用-P選項可以指定文件下載到的目錄。如果目錄不存在，wget會自動創建它。
wget -P /tmp/downloads https://example.com/files/document.pdf
文件document.pdf將被下載並保存到/tmp/downloads/目錄中。
2. 斷點續傳：應對網絡中斷的利器
當下載大型文件時，網絡中斷或計算機重啟可能會導致下載失敗。wget的斷點續傳功能可以從中斷處繼續下載，無需重新開始。
使用-c選項：
wget -c https://example.com/large_software_update.iso
如果之前已經下載了一部分large_software_update.iso，再次運行此命令時，wget會檢查本地文件，並嘗試從中斷的地方繼續下載。
3. 後台下載：讓任務持續運行
對於耗時較長的下載任務，我們通常不希望它們阻塞終端。wget可以輕鬆地在後台運行。
使用-b選項：
wget -b https://example.com/very_large_dataset.tar.gz
執行此命令后，wget會立即將任務放入後台，並打印一個PID（進程ID），然後您就可以繼續使用終端了。下載進度會被記錄在一個名為wget-log（或您通過-o指定的其他文件）的日誌文件中。
提示： 如果您想在關閉終端后仍然保持下載任務運行，可以結合使用nohup命令：
nohup wget https://example.com/another_big_file.zip &
這樣，即使您關閉了SSH會話，下載任務也會繼續進行。
4. 下載整個網站（遞歸下載）：備份或離線瀏覽
wget最強大的功能之一是遞歸下載，它可以追蹤網頁中的鏈接，從而下載整個網站或網站的特定部分。這對於網站備份、創建離線版本或進行網站分析非常有用。
基本遞歸下載：-r
wget -r https://www.example.com
這個命令會從https://www.example.com開始，遞歸地下載所有鏈接的內容。
控制遞歸深度：-l
默認情況下，遞歸深度是5層。您可以使用-l選項來指定遞歸的深度。
wget -r -l 2 https://www.example.com
這將只下載URL下兩層目錄深度的內容。
不追蹤父目錄：-np
當從子目錄開始遞歸下載時，-np（--no-parent）可以防止wget追蹤到父目錄。
wget -r -np https://www.example.com/blog/posts/
這樣只會下載posts目錄及其子目錄的內容，而不會去下載blog或www.example.com根目錄下的其他內容。
下載頁面所有必需文件：-p
為了確保下載的HTML頁面在離線時能正確顯示，-p（--page-requisites）選項會下載頁面中所有必要的元素，如圖片、CSS文件、JavaScript文件等。
wget -r -l 1 -p https://www.example.com/important_page.html
這將下載important_page.html及其所有依賴資源。
轉換鏈接以便離線瀏覽：-k
-k（--convert-links）選項會將下載到的HTML文件中指向本地文件的鏈接轉換為相對鏈接，使得這些文件在離線瀏覽時能夠正確相互鏈接。
wget -r -l 1 -p -k https://www.example.com/article/
鏡像網站：--mirror
--mirror選項是-r -l inf -N -p等多個選項的組合，用於創建一個完整的網站鏡像。它會無限深度遞歸下載，下載所有頁面必需文件，並嘗試轉換鏈接以供離線瀏覽。
wget --mirror --convert-links --adjust-extension --page-requisites --no-parent https://www.example.com
這是一個非常強大的組合，常用於完整的網站備份。
5. 限速下載：管理帶寬佔用
在共享網絡環境中，下載大文件可能會佔用所有帶寬。--limit-rate選項允許您限制wget的下載速度。
使用--limit-rate：
wget --limit-rate=500k https://example.com/large_video.mp4
這將把下載速度限制在500KB/s。您可以指定單位，如k代表千位元組/秒，m代表兆位元組/秒。
6. 偽裝用戶代理（User-Agent）：模擬瀏覽器訪問
有些網站會檢查請求的User-Agent頭信息，以判斷訪問者是瀏覽器還是爬蟲。如果User-Agent被識別為非瀏覽器，可能會拒絕訪問。
使用-U選項：
wget -U "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36" https://example.com/protected_content.html
這將使wget偽裝成一個Chrome瀏覽器訪問該網站。
7. 處理HTTPS證書問題
當遇到自簽名證書或證書過期/無效的HTTPS網站時，wget默認會拒絕下載。
禁用證書檢查：--no-check-certificate
wget --no-check-certificate https://untrusted-server.com/secure_file.zip
注意： 使用此選項會跳過SSL/TLS證書的驗證，存在安全風險，因為它使您容易受到中間人攻擊。只在您明確信任目標服務器且了解風險的情況下使用。
8. 日誌輸出：記錄下載過程
對於複雜的下載任務，記錄wget的輸出日誌非常有用，以便後續檢查或調試。
使用-o選項：
wget -o my_download_log.txt https://example.com/some_data.csv
所有wget的輸出信息（包括進度、錯誤等）都將被寫入my_download_log.txt文件，而不會打印到終端。
高級應用場景
批量下載：從文件列表獲取URL
如果您有一系列需要下載的URL，可以將它們放在一個文本文件中，然後讓wget批量處理。
準備一個URL列表文件 (url_list.txt)：
https://example.com/file1.zip
https://example.com/images/pic2.jpg
ftp://user:[email protected]/document.pdf
使用-i選項：
wget -i url_list.txt
wget將逐行讀取url_list.txt中的URL並下載它們。
下載FTP文件：處理認證和目錄
wget也支持FTP協議，包括匿名FTP和需要認證的FTP。
匿名FTP：
wget ftp://ftp.example.com/pub/software/app.deb
帶認證的FTP：
wget ftp://username:[email protected]/private/data.tgz
wget命令的最佳實踐與注意事項
為了高效、安全、負責任地使用wget，請牢記以下幾點：
- 檢查權限與目錄： 確保您有權限在目標目錄寫入文件。對於遞歸下載，選擇一個空目錄以避免文件衝突。
- 尊重網站規則： 在進行遞歸下載或大量抓取時，請務必查看網站的
robots.txt文件，了解哪些內容允許抓取，並遵守其規定。過度或惡意抓取可能導致您的IP被封禁。 - 合理使用限速： 當下載大文件或進行批量下載時，使用
--limit-rate限制下載速度，以避免對服務器造成過大壓力或佔用過多共享網絡帶寬。 - 監控下載進度： 對於後台下載任務，可以通過查看
wget-log文件（或您指定的日誌文件）來監控下載進度：
tail -f wget-log - 利用斷點續傳： 養成使用
-c選項的習慣，尤其是在下載大文件時，可以有效節省時間和帶寬。 - 警惕安全風險： 謹慎使用
--no-check-certificate，只在您完全信任來源且了解風險的情況下使用。
wget與curl的簡要比較
雖然本文主要聚焦於wget，但在命令行下載工具領域，curl也是一個非常流行的選擇。兩者各有側重：
wget： 更側重於下載文件和整個網站，尤其擅長遞歸下載和網站鏡像。它設計理念是「非交互式」下載，更適合自動化腳本和後台任務。curl： 更靈活，支持更廣泛的協議（HTTP, HTTPS, FTP, FTPS, SCP, SFTP, TFTP, DICT, TELNET, LDAP, FILE, IMAP, POP3, SMTP, RTSP, RTMP等），能夠發送各種請求（GET, POST, PUT等），並且可以顯示請求頭、響應頭，常用於API交互、測試和調試。
wget通常是更簡潔高效的選擇；如果您需要進行更複雜的網絡請求或API交互，curl則提供更大的靈活性。
總結
wget命令作為Linux/Unix系統中最基礎也最強大的網絡下載工具之一，其功能遠不止下載單個文件那麼簡單。從簡單的文件獲取到複雜的網站鏡像，從斷點續傳到後台下載，它提供了豐富的選項來滿足各種下載需求。掌握wget命令，無疑能極大地提升您在Linux環境下的工作效率，無論是數據採集、網站備份還是日常的文件管理。希望本文的詳細講解能幫助您更好地理解和運用這個強大的工具。
常見問題解答（FAQ）
如何使用wget命令進行斷點續傳？
要進行斷點續傳，您只需要在wget命令中添加-c（或--continue）選項。例如：wget -c https://example.com/large_file.iso。如果本地已存在部分下載的文件，wget會檢查文件大小並從中斷處繼續下載。
為何wget下載的網站目錄結構與我預期不符？
當您使用-r（遞歸下載）時，wget默認會在當前目錄下創建以域名命名的子目錄。如果您不希望創建這個域名目錄，可以使用-nH（或--no-host-directories）選項。此外，如果目錄層級太深，您還可以使用--cut-dirs=N選項來移除URL中N個目錄層級。
如何下載一個HTTPS網站，但服務器證書有問題導致下載失敗？
當HTTPS證書無效（如自簽名、過期）時，wget會拒絕連接。您可以使用--no-check-certificate選項來跳過證書驗證。例如：wget --no-check-certificate https://untrusted-site.com/file.zip。但請注意，這樣做存在安全風險，只在您信任來源的情況下使用。
為何我使用wget無法下載某個網站的內容？
有幾個常見原因：
- 網站限制： 目標網站可能設置了
robots.txt文件，禁止wget抓取，或者基於User-Agent進行識別和阻止。您可以嘗試使用-U選項偽裝User-Agent。 - 防火牆或網絡問題： 您的網絡環境或目標服務器的防火牆可能阻止了連接。
- 認證問題： 如果是受密碼保護的資源，您需要提供用戶名和密碼，例如：
wget --user=youruser --password=yourpass https://example.com/secret_file.txt。
如何限制wget的下載速度，以避免佔用所有帶寬？
您可以使用--limit-rate選項來限制下載速度。例如，要將下載速度限制為500KB/s，可以運行：wget --limit-rate=500k https://example.com/big_file.zip。您可以指定不同的單位，如k（千位元組/秒）或m（兆位元組/秒）。
