常用參數(shù)如下:
使用示例:
例1:抓取頁面到指定文件,如果有亂碼可以使用iconv轉(zhuǎn)碼
例2:模擬瀏覽器頭(user-agent)
例3:處理重定向頁面
例4:模擬用戶登陸,保存cookie信息到cookies.txt文件,再使用cookie登陸
例5:獲取HTTP響應(yīng)頭headers
例6:訪問HTTP認(rèn)證頁面
例7:通過ftp上傳和下載文件
wget(文件下載工具)
常用參數(shù)如下:
使用示例:
例1:下載單個文件到當(dāng)前目錄下,也可以-P指定下載目錄
例2:對于網(wǎng)絡(luò)不穩(wěn)定的用戶可以使用-c和–tries參數(shù),保證下載完成
例3:下載大的文件時,我們可以放到后臺去下載,這時會生成wget-log文件來保存下載進度
例4:可以利用—spider參數(shù)判斷網(wǎng)址是否有效
例5:自動從多個鏈接下載文件