认识wget命令：命令行下的下载瑞士军刀
在Linux/Unix命令行世界中，wget命令无疑是下载文件和整个网站内容的“瑞士军刀”。它是一个免费、非交互式的网络下载器，支持HTTP、HTTPS和FTP协议，能够在没有用户交互的情况下，从Web或FTP服务器下载文件，甚至整个网站。无论您是需要下载一个大型ISO文件、备份一个重要的网页，还是自动化数据抓取任务，wget都能提供强大而灵活的解决方案。
wget命令的强大之处在于其一系列高级功能，包括：
- 断点续传： 在网络中断后，可以从上次停止的地方继续下载，无需重新开始。
- 递归下载： 能够自动跟踪链接，下载整个网站或指定深度的内容。
- 后台运行： 允许在下载过程中关闭终端，而下载任务继续在后台进行。
- 时间戳验证： 只下载比本地文件新的版本，节省带宽和时间。
- 带宽限制： 控制下载速度，避免占用过多网络资源。
- 代理支持： 能够通过HTTP或SOCKS代理进行下载。
本文将深入探讨wget命令的各项功能，从基本用法到高级技巧，并结合具体的应用场景，帮助您充分发挥其强大的下载能力。
wget命令的基本语法与入门
wget命令的基本语法非常简单直观，通常只需要提供要下载的资源的URL即可。
基本格式：
wget [选项] [URL]
简单示例：下载单个文件
假设您想下载一个名为example.zip的压缩包：
wget https://example.com/files/example.zip
执行此命令后，wget将尝试从指定的URL下载文件，并将其保存到当前目录，文件名与远程文件名相同（即example.zip）。
常用选项与实践：精通wget的核心功能
1. 下载到指定文件名或目录
默认情况下，wget会将文件保存到当前目录，并使用远程文件的原始名称。但很多时候，我们希望自定义本地文件名或存放路径。
指定输出文件名：-O (大写O)
使用-O选项可以指定下载文件的本地名称。
wget -O my_local_archive.zip https://example.com/files/original_name.zip
这会将original_name.zip下载并保存为my_local_archive.zip。
指定下载目录：-P
使用-P选项可以指定文件下载到的目录。如果目录不存在，wget会自动创建它。
wget -P /tmp/downloads https://example.com/files/document.pdf
文件document.pdf将被下载并保存到/tmp/downloads/目录中。
2. 断点续传：应对网络中断的利器
当下载大型文件时，网络中断或计算机重启可能会导致下载失败。wget的断点续传功能可以从中断处继续下载，无需重新开始。
使用-c选项：
wget -c https://example.com/large_software_update.iso
如果之前已经下载了一部分large_software_update.iso，再次运行此命令时，wget会检查本地文件，并尝试从中断的地方继续下载。
3. 后台下载：让任务持续运行
对于耗时较长的下载任务，我们通常不希望它们阻塞终端。wget可以轻松地在后台运行。
使用-b选项：
wget -b https://example.com/very_large_dataset.tar.gz
执行此命令后，wget会立即将任务放入后台，并打印一个PID（进程ID），然后您就可以继续使用终端了。下载进度会被记录在一个名为wget-log（或您通过-o指定的其他文件）的日志文件中。
提示： 如果您想在关闭终端后仍然保持下载任务运行，可以结合使用nohup命令：
nohup wget https://example.com/another_big_file.zip &
这样，即使您关闭了SSH会话，下载任务也会继续进行。
4. 下载整个网站（递归下载）：备份或离线浏览
wget最强大的功能之一是递归下载，它可以追踪网页中的链接，从而下载整个网站或网站的特定部分。这对于网站备份、创建离线版本或进行网站分析非常有用。
基本递归下载：-r
wget -r https://www.example.com
这个命令会从https://www.example.com开始，递归地下载所有链接的内容。
控制递归深度：-l
默认情况下，递归深度是5层。您可以使用-l选项来指定递归的深度。
wget -r -l 2 https://www.example.com
这将只下载URL下两层目录深度的内容。
不追踪父目录：-np
当从子目录开始递归下载时，-np（--no-parent）可以防止wget追踪到父目录。
wget -r -np https://www.example.com/blog/posts/
这样只会下载posts目录及其子目录的内容，而不会去下载blog或www.example.com根目录下的其他内容。
下载页面所有必需文件：-p
为了确保下载的HTML页面在离线时能正确显示，-p（--page-requisites）选项会下载页面中所有必要的元素，如图片、CSS文件、JavaScript文件等。
wget -r -l 1 -p https://www.example.com/important_page.html
这将下载important_page.html及其所有依赖资源。
转换链接以便离线浏览：-k
-k（--convert-links）选项会将下载到的HTML文件中指向本地文件的链接转换为相对链接，使得这些文件在离线浏览时能够正确相互链接。
wget -r -l 1 -p -k https://www.example.com/article/
镜像网站：--mirror
--mirror选项是-r -l inf -N -p等多个选项的组合，用于创建一个完整的网站镜像。它会无限深度递归下载，下载所有页面必需文件，并尝试转换链接以供离线浏览。
wget --mirror --convert-links --adjust-extension --page-requisites --no-parent https://www.example.com
这是一个非常强大的组合，常用于完整的网站备份。
5. 限速下载：管理带宽占用
在共享网络环境中，下载大文件可能会占用所有带宽。--limit-rate选项允许您限制wget的下载速度。
使用--limit-rate：
wget --limit-rate=500k https://example.com/large_video.mp4
这将把下载速度限制在500KB/s。您可以指定单位，如k代表千字节/秒，m代表兆字节/秒。
6. 伪装用户代理（User-Agent）：模拟浏览器访问
有些网站会检查请求的User-Agent头信息，以判断访问者是浏览器还是爬虫。如果User-Agent被识别为非浏览器，可能会拒绝访问。
使用-U选项：
wget -U "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36" https://example.com/protected_content.html
这将使wget伪装成一个Chrome浏览器访问该网站。
7. 处理HTTPS证书问题
当遇到自签名证书或证书过期/无效的HTTPS网站时，wget默认会拒绝下载。
禁用证书检查：--no-check-certificate
wget --no-check-certificate https://untrusted-server.com/secure_file.zip
注意： 使用此选项会跳过SSL/TLS证书的验证，存在安全风险，因为它使您容易受到中间人攻击。只在您明确信任目标服务器且了解风险的情况下使用。
8. 日志输出：记录下载过程
对于复杂的下载任务，记录wget的输出日志非常有用，以便后续检查或调试。
使用-o选项：
wget -o my_download_log.txt https://example.com/some_data.csv
所有wget的输出信息（包括进度、错误等）都将被写入my_download_log.txt文件，而不会打印到终端。
高级应用场景
批量下载：从文件列表获取URL
如果您有一系列需要下载的URL，可以将它们放在一个文本文件中，然后让wget批量处理。
准备一个URL列表文件 (url_list.txt)：
https://example.com/file1.zip
https://example.com/images/pic2.jpg
ftp://user:[email protected]/document.pdf
使用-i选项：
wget -i url_list.txt
wget将逐行读取url_list.txt中的URL并下载它们。
下载FTP文件：处理认证和目录
wget也支持FTP协议，包括匿名FTP和需要认证的FTP。
匿名FTP：
wget ftp://ftp.example.com/pub/software/app.deb
带认证的FTP：
wget ftp://username:[email protected]/private/data.tgz
wget命令的最佳实践与注意事项
为了高效、安全、负责任地使用wget，请牢记以下几点：
- 检查权限与目录： 确保您有权限在目标目录写入文件。对于递归下载，选择一个空目录以避免文件冲突。
- 尊重网站规则： 在进行递归下载或大量抓取时，请务必查看网站的
robots.txt文件，了解哪些内容允许抓取，并遵守其规定。过度或恶意抓取可能导致您的IP被封禁。 - 合理使用限速： 当下载大文件或进行批量下载时，使用
--limit-rate限制下载速度，以避免对服务器造成过大压力或占用过多共享网络带宽。 - 监控下载进度： 对于后台下载任务，可以通过查看
wget-log文件（或您指定的日志文件）来监控下载进度：
tail -f wget-log - 利用断点续传： 养成使用
-c选项的习惯，尤其是在下载大文件时，可以有效节省时间和带宽。 - 警惕安全风险： 谨慎使用
--no-check-certificate，只在您完全信任来源且了解风险的情况下使用。
wget与curl的简要比较
虽然本文主要聚焦于wget，但在命令行下载工具领域，curl也是一个非常流行的选择。两者各有侧重：
wget： 更侧重于下载文件和整个网站，尤其擅长递归下载和网站镜像。它设计理念是“非交互式”下载，更适合自动化脚本和后台任务。curl： 更灵活，支持更广泛的协议（HTTP, HTTPS, FTP, FTPS, SCP, SFTP, TFTP, DICT, TELNET, LDAP, FILE, IMAP, POP3, SMTP, RTSP, RTMP等），能够发送各种请求（GET, POST, PUT等），并且可以显示请求头、响应头，常用于API交互、测试和调试。
wget通常是更简洁高效的选择；如果您需要进行更复杂的网络请求或API交互，curl则提供更大的灵活性。
总结
wget命令作为Linux/Unix系统中最基础也最强大的网络下载工具之一，其功能远不止下载单个文件那么简单。从简单的文件获取到复杂的网站镜像，从断点续传到后台下载，它提供了丰富的选项来满足各种下载需求。掌握wget命令，无疑能极大地提升您在Linux环境下的工作效率，无论是数据采集、网站备份还是日常的文件管理。希望本文的详细讲解能帮助您更好地理解和运用这个强大的工具。
常见问题解答（FAQ）
如何使用wget命令进行断点续传？
要进行断点续传，您只需要在wget命令中添加-c（或--continue）选项。例如：wget -c https://example.com/large_file.iso。如果本地已存在部分下载的文件，wget会检查文件大小并从中断处继续下载。
为何wget下载的网站目录结构与我预期不符？
当您使用-r（递归下载）时，wget默认会在当前目录下创建以域名命名的子目录。如果您不希望创建这个域名目录，可以使用-nH（或--no-host-directories）选项。此外，如果目录层级太深，您还可以使用--cut-dirs=N选项来移除URL中N个目录层级。
如何下载一个HTTPS网站，但服务器证书有问题导致下载失败？
当HTTPS证书无效（如自签名、过期）时，wget会拒绝连接。您可以使用--no-check-certificate选项来跳过证书验证。例如：wget --no-check-certificate https://untrusted-site.com/file.zip。但请注意，这样做存在安全风险，只在您信任来源的情况下使用。
为何我使用wget无法下载某个网站的内容？
有几个常见原因：
- 网站限制： 目标网站可能设置了
robots.txt文件，禁止wget抓取，或者基于User-Agent进行识别和阻止。您可以尝试使用-U选项伪装User-Agent。 - 防火墙或网络问题： 您的网络环境或目标服务器的防火墙可能阻止了连接。
- 认证问题： 如果是受密码保护的资源，您需要提供用户名和密码，例如：
wget --user=youruser --password=yourpass https://example.com/secret_file.txt。
如何限制wget的下载速度，以避免占用所有带宽？
您可以使用--limit-rate选项来限制下载速度。例如，要将下载速度限制为500KB/s，可以运行：wget --limit-rate=500k https://example.com/big_file.zip。您可以指定不同的单位，如k（千字节/秒）或m（兆字节/秒）。
