it-swarm-ja.com

wgetがXサイズより大きいファイルをダウンロードしないようにする

さて、私はあきらめます。ダウンロードするファイルのサイズを制限するにはどうすればよいですか?たとえば、2MBを超えるファイルは必要ありません。

11
Nathaniel

どのwgetがサポートするかを知っている唯一の制限オプションは、クォータの-Qスイッチです。ただし、これは、個別にではなく、ダウンロードしたすべてのファイルの結合制限の後で停止するため、必要なものではありません。 manページ で説明されているように、-Qスイッチを使用して各リンクを個別にパイプすることも機能しません。 =。

使用している環境はわかりませんが、 crawler max-length-bytesおよびJavaプラットフォームで実行されます。

彼らの ユーザーマニュアル から:

  • max-length-bytes

ドキュメントごとにダウンロードする最大バイト数。この制限に達すると、ファイルが切り捨てられます。

デフォルトでは、この値は(エクサバイトの範囲の)非常に大きな値に設定されており、実際には到達しません。

6
John T

"最大2MBのファイルをダウンロード"ではなく "最大2MBのダウンロード"の場合は、ディスクに保存される出力を制限することができます。

wget -O - $url |head -c 1024(オプションの> $SaveAsFile)->最初のKBを保存し、残りは切り捨てられます。

( "OK:$ Message"を表示するのに十分ですが、リモートからの大量のエラーメッセージで/ tmpを強制終了しません;-))

3
Tabakhase

これはサードパーティのパッチの助けを借りて可能です: http://yurichev.com/wget.html

1
Dennis Yurichev