Little Programming Skillでダウンロードスケジューラを作成する

私たちは皆、インターネットからものをダウンロードするのが大好きです、そして私たちがダウンロードをスケジュールするのに使用できる素晴らしいダウンロードマネージャツールの山があります。ダウンロードマネージャを使うほうが簡単かもしれませんが、Ubuntuに既に付属しているツールを調べてそれを最大限に活用することに害はありません。.

この記事では、Ubuntuに組み込まれているソフトウェアを紹介します。 wget. その上で、Cronを使用してダウンロードをスケジュールする方法を紹介します。.

Wgetを使ったダウンロード

Wgetは、HTTP、HTTPS、およびFTP、最も広く使用されているインターネットプロトコルを使用してファイルを取得するためのフリーソフトウェアパッケージです。これは非対話型のコマンドラインツールなので、スクリプト、cronジョブ、X-Windowsサポートなしの端末などから簡単に呼び出すことができます。.

端末を開いて、wgetを使ってネットからダウンロードする方法を探りましょう。 wgetによるダウンロードの基本的な構文は次のとおりです。

wget [オプション]…[URL]…

このコマンドはあなたのローカルドライブにwgetマニュアルをダウンロードします

http://www.gnu.org/software/wget/manual/wget.pdf

Linux Cron

Ubuntuには、特定の時間に実行されるタスクをスケジュールするために使用されるcronデーモンが付属しています。 Crontabでは、実行するアクションと時間を指定できます。これは、通常コマンドラインツールを使用してタスクをスケジュールする方法です。.

端末ウィンドウを開き、crontab -eと入力します。.

crontabの各セクションはスペースで区切られ、最後のセクションには1つ以上のスペースがあります。クーロン項目は、分（0-59）、時（0-23、0 =真夜中）、日（1-31）、月（1-12）、平日（0-6、0 =日曜日）、コマンドで構成されています。上記のcrontabの3番目のエントリは、午前2時にwget.pdfをダウンロードします。最初のエントリ（0）と2番目のエントリ（2）は2:00を意味します。 3番目から5番目の項目（*）は、任意の時刻、月、または週を意味します。最後のエントリは、指定されたURLからwget.pdfをダウンロードするためのwgetコマンドです。.

これがwgetの基本であり、Cronのしくみです。ダウンロードをスケジュールする方法について実際の例で略奪しましょう。.

スケジュールダウンロード

Firefox 3.6は午前2時にダウンロードします。ISPは限られた量のデータしか提供しないため、午前8時にダウンロードを中止する必要があります。これがセットアップの様子です。.

上記のcrontabの最初の2つのエントリは無視してください。 3番目と4番目のコマンドは、あなたが必要とする唯一の2つのコマンドです。 3番目のコマンドは、午前2時にFirefoxをダウンロードするタスクを設定します。

[コード]
0 2 * * * wget -c http://download.mozilla.org/?product=firefox-3.6.6&os=win&lang=en-GB
[/コード]

-cオプションは、それが完了していない場合、wgetが既存のダウンロードを再開することを示します。.

4番目のコマンドは、午前8時にwgetを停止します。 'Killall'は名前でプロセスを強制終了するunixコマンドです。.

[コード]
0 8 * * * killall wget
[/コード]

killall wgetは、Ubuntuに午前8時にwgetがファイルをダウンロードしないように指示します。.

その他の便利なwgetコマンド

1.ファイルをダウンロードするディレクトリを指定する

[コード]
wget -output-document = / home / zainul /ダウンロード/ wget manual.pdf http://www.gnu.org/software/wget/manual/wget.pdf
[/コード]

-output-documentオプションを使用すると、ダウンロードするファイルのディレクトリと名前を指定できます。

Webサイトをダウンロードする

wgetはWebサイトをダウンロードすることもできます.

[コード]
wget -m http://www.google.com/profiles/zainul.franciscus
[/コード]

上記のコマンドは私の全体のGoogleプロフィールウェブページをダウンロードするでしょう。オプション '-m'は、指定されたURLの 'ミラー'イメージをダウンロードするようにwgetに指示します。.

もう一つの重要なオプションは、それがウェブサイトをダウンロードするときそれが続くべきであるべきリンクの数をwgetに言うことです.

[コード]
wget -r -l1 http://www.google.com/profiles/zainul.franciscus
[/コード]

上記のwgetコマンドは2つのオプションを使用します。最初のオプション '-r'は、指定されたWebサイトを再帰的にダウンロードするようにwgetに指示します。 2番目のオプション '-l1'は、指定されたWebサイトから最初のレベルのリンクのみを取得するようにwgetに指示します。 '-l2'と '-l3'の3段階まで設定できます.

3.ロボットの侵入を無視する

WebマスターはRobot.txtというテキストファイルを管理します。 'Robot.txt'は、wgetなどのWebページクローラがクロールしないURLのリストを管理します。 '-erobots = off'オプションを使って 'Robot.txt'を無視するようにwgetに指示することができます。次のコマンドは、私のGoogleプロフィールの最初のページをダウンロードし、 'Robot.txtを無視するようにwgetに指示します。.

[コード]
wget -erobots = off http://www.google.com/profiles/zainul.franciscus
[/コード]

別の便利なオプションは-Uです。このオプションはブラウザとしてwgetをマスクします。アプリケーションを他のアプリケーションとしてマスクすると、Webサービスプロバイダの用語およびサービスに違反する可能性があることに注意してください。.

[コード]
wget -erobots = off -U Mozilla http://www.google.com/profiles/zainul.franciscus
[/コード]

結論

Wgetは、私たちがファイルをダウンロードするために使用できる、非常に古い学校でありながらハッキング可能なGNUソフトウェアパッケージです。 Wgetは対話型のコマンドラインツールです。つまり、アプリケーションを起動しなくても、バックグラウンドでコンピュータ上で実行させることができます。 wgetのmanページを調べてください。

[コード]
$ man wget
[/コード]

wgetで使える他のオプションを理解するため.

リンク集

Wgetマニュアル
wgetが途中で失敗したときに2つのダウンロードされたファイルを結合する方法
Linuxクイックヒント：ワンステップでのダウンロードと解凍