諸事情により、Webサイトのリンク切れ調査をする必要が発生し、なんかお手軽にできないかなと調べてみたところwgetで調べることができそうだったので、実際にやってみることにした。 以下のようにオプションを付与することで、リンク切れのページをログにリストアップさせることができるようになる。

wget --spider -o ./wget.log -e robots=off -r -p http://target.domain

設定しているオプションは以下。

• --spider … ファイルのダウンロードは行わない
• -o ./wget.log … カレントディレクトリ配下にログを出力す...

ふと、tor経由でwgetやcurlでWebサーバにアクセスしてみようと思ったので、ちょっとやってみた。 まぁ特に難しい事も何もなかったのだけど、とりあえず備忘で残しておく。

1. torのインストール

まずtorのインストール。Ubuntu Server 16.04 LTS/CentOS 7であれば、普通にaptやyum(epel必要だけど)からインストールが可能だ。

Ubuntuの場合

sudo apt install tor

CentOSの場合

sudo yum install epel-release
sudo yum install tor

インストールが...

こちらにも記述しているのだが、wgetコマンドでダウンロードしたファイルを配置するディレクトリを指定する場合は、「-P」オプションで指定できる。

wget http://ファイルのURL -P /PATH

ちょっと調べものをしていたところ、wgetコマンドよりも使い勝手のよさそうなダウンロードツール『axel』コマンドというものを見かけたので、ちょっと試してみることにした。
セッション数を指定することで、その数に分割してダウンロードを実行するので、10分割位にすれば普通にダウンロードしてくるよりも速くなる。

…まぁ、もちろんその分だけリソースを食うので、他の人のネットワーク速度が遅くなるかもしれないが。

1.インストール

まずはインストール。
以下のコマンドを実行する。

CentOSなどRHEL系

rpm -ihv http://pkgs.repoforge.org/ax...

投資の自己責任論が叫ばれる昨今、金相場や為替レートは気になるもの。
それがたとえコンソールにアクセスしている真っ最中でも。

というわけで、コンソール操作中でも金相場や為替レートを調べる方法を紹介。
まぁ、以下のコマンドを実行するだけだ。

ドルレート

wget https://rate-exchange-1.appspot.com/currency\?from=USD\&to=JPY -q -O - | jq -r ".from,.rate,.to" | tr '\n' ',' | awk -F, '{print "1 "$1"="$2" "$3}'

金相場

wget h...

wgetコマンドといえば、webからファイルをダウンロードしたりする際によく利用するコマンドだ。
今回は、このwgetコマンドについて覚えておきたい使い方をまとめてみる事にする。

1.基本の使い方

基本的には、以下のようにオプション無しでコマンドを実行することで、Web上のファイルをダウンロードする。
ダウンロードしたファイルはカレントディレクトリに同じ名前で保存される。

wget http://ファイルのURL

[root@test-node work]# ls -la
合計 4
drwxr-xr-x.  2 root root    6  3月 19 00:39 .
d...