wget

windows版

http://gnuwin32.sourceforge.net/packages/wget.htm
libintl3
libiconv2

オプション

• r 再帰的に取得
• l 10 深さ10まで
• D(string) 許可ドメインをカンマ区切り
• H 別のドメインも保存する
• R(string) 拒否拡張子
• A(string) 許可拡張子

最後にスタートURLを入れる

• x ディレクトリ構造を再現

--restrict-file-names=nocontrol 日本語そのままで取得

http://tech.bayashi.net/svr/doc/wget.html

例

何も出力しない

wget -q -O - http://example.com/

http://it.kndb.jp/entry/show/id/1007

MP3 blogs and wget

wget -r -l1 -H -t1 -nd -N -np -A.mp3 -erobots=off -i ~/mp3blogs.txt

http://www.veen.com/jeff/archives/000573.html

取得したファイルを標準出力に出す

wget http://www.example.com/ -O -
wget http://www.example.com/ -O /dev/stdout

.wgetrc

~/.wgetrc で共通設定を書ける。
オプションとは微妙に名前が違ってたりするのでややこしい。

dirstruct = on (-xオプション：構造再現）
recursive = off 
restrict_file_names=nocontrol

http://info2html.sourceforge.net/cgi-bin/info2html-demo/info...