Mirror a site by using wget
抓取整个站点:
1 | wget -m -r -p -np -k -E 'https://example.com' |
1 | -r # 递归抓取 |
1 | -e robots=off # 忽略 robots.txt 进行抓取,请注意这样使用可能违法 |
抓取整个站点:
1 | wget -m -r -p -np -k -E 'https://example.com' |
1 | -r # 递归抓取 |
1 | -e robots=off # 忽略 robots.txt 进行抓取,请注意这样使用可能违法 |