wget; Macでサイトを丸ごとダウンロードして保存する

12-3-2017 Last update

 

このページは wget @本家UBサイト に恒久的に移転しました。このページもネット上に残っていますが、最新の情報はリンク先を参照して下さい。

 


Mac OS

  1. wget のインストール
  2. wget のテスト
  3. wget のオプション

Mac OS X

wget のインストール

文献 1,2 に従って wget をインストールしました(2014年8月23日, Mac OS X 10.9.4, 1.86 GHz Intel Core 2 Duo)。完全にそのままではインストールできなかったので,ここにメモしておきます。

 

Documents の中に wget というフォルダを作り,そこにインストールします。

 

$ cd .../Documents (実際のファイルパスを入れる)

$ mkdir wget

$ cd wget

$ sudo curl -O http://ftp.gnu.org/pub/gnu/wget/wget-1.13.4.tar.gz

 

sudo コマンドなので,パスワードを要求されます。うまくいくと,このフォルダに wget-1.13.4.tar.gz というファイルがダウンロードされます。

 

$ ls -l

-rw-r--r--  1 root  501  2815185 Aug 22 21:05 wget-1.13.4.tar.gz

 

次に,このファイルを解凍します。

 

$ sudo tar zxvf wget-1.13.4.tar.gz

 

すると wget-1.13.4 というフォルダができるので,cd コマンドでそこへ移動して configure を実行します。

 

$ cd wget-1.13.4

$ sudo ./configure –with-ssl=openssl

私の場合はここでエラーが出ました。

 

configure: error: invalid variable name: `–with-ssl'

 

よくわからないまま,--with-ssl などを試してみてもダメで,オプションを入れずに

 

$ sudo ./configure

 

を実行したら先に進めましたが,やはりエラーが出て止まっている感じです。とりあえず Xcode が必要というメッセージが出たので,これをインストールします。

その後にもう一度オプション無しで

 

$ sudo ./configure

 

を実行。さっきより進むようになりましたが,やはり

 

configure: error: –with-ssl was given, but GNUTLS is not available.

 

というエラーで止まります。新しいバージョンの wget には SSL 接続が必要というエラーのようです(2)。再び -with-ssl-openssl オプションを手打ちして追加したら,なんと最後まで実行されました。コマンドをコピー & ペーストするとハイフンが正しくない文字になってしまうとか?

 

あとは

 

$ sudo make

$ sudo make install

 

で完了です。

wget のテスト

$ sudo wget http://ultrabem.jimdo.com

 
で,このサイトのトップページ index.html が無事にダウンロードされました。
 
  • wget-1.13.4 というフォルダの中。
  • sudo が必要。wget をインストールした場所によるのか?
  • index.html を消すにもパスワードが必要でした。

wget のオプション

文献3に様々なオプションが載っている。目的はこのサイト Ultrabem のバックアップなので,実際に試したのは

 

$ sudo wget -r -l 3 -x http://ultrabem.jimdo.com

 

FINISHED --2014-08-22 22:21:03--

Total wall clock time: 10m 31s

Downloaded: 405 files, 8.9M in 1m 5s (140 KB/s)

 

という完了メッセージ。wget-1.13.4 の中に ultrabem.jimdo.com というフォルダができて,html ファイルが保存された。3 はファイルを取得する階層の数を指定している。このサイトは jimdo の仕様で 3 階層までで作られている。

 

メモ: * は入力必須項目です

References

  1. Macでwgetコマンドを使えるようにするの書. Web
  2. MacOSXにwgetをインストール. Web.
  3. wgetの使い方. Web.