wget 是一个从网络上自动下载文件的自由工具,支持通过 HTTP、HTTPS、FTP 三个最常见的 TCP/IP协议 下载,并可以使用 HTTP 代理。
wget 这个名称来源于 “World Wide Web” 与 “get” 的结合。
所谓自动下载,是指 wget 可以在用户退出系统的之后在继续后台执行,直到下载任务完成。
wget遵守Robot Exclusion Standard(robots.txt)标准的工具。
wget支持不稳定网络下载,下载失败时,wget会重试直到把文件下载下来为止。
wget支持断点续传功能,当你下载的很大的文件失败时,就可以使用断点来继续下载。
1.基本参数
-a<日志文件>:在指定的日志文件中记录资料的执行过程;
-A<后缀名>:指定要下载文件的后缀名,多个后缀名之间使用逗号进行分隔;
-b:进行后台的方式运行wget;
-B<连接地址>:设置参考的连接地址的基地地址;
-c:继续执行上次终端的任务;
-C<标志>:设置服务器数据块功能标志on为激活,off为关闭,默认值为on;
-d:调试模式运行指令;
-D<域名列表>:设置顺着的域名列表,域名之间用“,”分隔; -e<指令>:作为文件“.wgetrc”中的一部分执行指定的指令;
-h:显示指令帮助信息;
-i<文件>:从指定文件获取要下载的URL地址;
-l<目录列表>:设置顺着的目录列表,多个目录用“,”分隔;
-L:仅顺着关联的连接;
-r:递归下载方式;
-nc:文件存在时,下载文件不覆盖原有文件;
-nv:下载时只显示更新和出错信息,不显示指令的详细执行过程;
-q:不显示指令执行过程;
-nh:不查询主机名称;
-v:显示详细执行过程;
-V:显示版本信息;
–passive-ftp:使用被动模式PASV连接FTP服务器;
–follow-ftp:从HTML文件中下载FTP连接文件。
|
-V | –version 显示软件版本号然后退出 |
-e | –execute=COMMAND 执行一个 “.wgetrc”命令 |
注意这里的-e参数是执行一个.wgettrc的命令,.wgettrc命令其实是一个参数列表,直接将软件需要的参数写在一起就可以了
2.文件参数 (log输出方式)
-o | –output-file=FILE 将软件输出信息保存到文件 |
-a | –append-output=FILE将软件输出信息追加到文件 |
-d | –debug显示输出信息 |
-q | –quiet 不显示输出信息 |
-i | –input-file=FILE 从文件中取得URL |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 |
#下载首页并且显示下载信息 wget -d file #下载首页并且不显示任何信息 wget -q file #下载baidu.com中所包含的链接的所有文件 wget -i baidu.com wget -np -m -l 5 #不下载本站所链接的其它站点内容,5级目录结构 #把log保存到指定文件中 wget -o mylog.txt http://shengshui.com/wp-content/uploads/2017/09/1000-115.jpg #限速下载 wget --limit-rate=200k http://shengshui.com/wp-content/uploads/2017/09/1000-115.jpg #断点续传(继续下载) wget -c http://shengshui.com/wp-content/uploads/2017/09/1000-115.jpg #后台下载 wget -b http://shengshui.com/wp-content/uploads/2017/09/1000-115.jpg #查看下载进度 tail -f wget-log #伪装代理下载(有些网站判断代理不是浏览器拒绝下载请求 ,可以加上 --ser-agent) wget --user-agent="Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/534.16 (KHTML, like Gecko) Chrome/10.0.648.204 Safari/534.16" http://shengshui.com/testfile.zip #测试下载 (1.定时下载之前检查 2.间隔检测网站是否可用 3.检查网站页面的死链接) wget --spider URL #重试次数 (比如失败 要重试20次下载) wget --tries-30 URL #下载多个文件 (fileList有多个 url1 url2) wget -i fileList.txt #镜像(--mirror: 开启镜像下载 -p:下载所有为了html页面显示正常文件 --convert-links:下载后 转换成本地链接 # -P ./Local:保存所有文件和目录到本地指定目录) wget --mirror -p --convert-links -P ./LOCAL URL #过滤下载 (不下载gif图片) wget --reject=gif URL #下载指定格式文件(递归只下载所有jpg图片) wget -r -A.jpg URL #把下载日志存入日志文件 wget -o down.log URL #限制总下载文件大小 (限制8M 参数对单个文件不起作用,递归可以) wget -Q8m -i fileList.txt #FTP下载 wget匿名ftp下载 wget ftp-url #用wget用户名和密码认证ftp下载 wget --ftp-user=USERNAME --ftp-password=PASSWORD URL |
参考:linuxde.net