linkcheckerでログインが必要なページのリンクチェックを行う
前にここで書いたlinkcheckerでログインの必要なペー…
Ubuntu
awkのワンライナーでシングルクォーテーションを使いたいときのエスケープ等の回避方法4個
awkをワンライナーで使っていると、処理の中でシングルクォー…
awkでOSのコマンドを実行させる
よくawkで処理中にOSのコマンドを実行させる事があるので、…
sedで置換文字列に文字コードを指定して処理をさせる
sedで文字コードを指定して置換処理をさせる場合は、以下のよ…
GNU sedで文字列の文字間・前後を指定して置換処理をする
sedで遊んでたとき、GNU sedにスペース区切りの文字列…
sedで置換する際に最短一致で指定をする
sedで置換条件に最短一致を指定したい事があったので、備忘で…
Webサイトを巡回してリンク切れを確認するPython製のCLIツール『linkchecker』を使ってみる
リンク切れページの調査について、前回wgetコマンドを使用し…
wgetでサイトのリンク切れURLを調査する
諸事情により、Webサイトのリンク切れ調査をする必要が発生し…
ターミナル上で3桁ごとの桁区切りをさせて数字を読みやすく表記させる
ターミナル上で集計処理などをしてて、数字の桁数が多いと読めな…
bashでコマンド実行時に強制的にexit codeが0で終わるようにする
Rundeckで、一部のコマンドが処理自体はちゃんとしてても…
nohupでパイプを用いた処理をバックグラウンドジョブとしてキックする
nohupでパイプを用いた処理をキックする場合、普通にやると…
Pythonでtor経由でスクレイピングを行う
前回、torをUbuntu/CentOSへインストールし利用…
Ubuntu Server 16.04 LTS/CentOS 7にtorをインストールしてtor経由でcurlやwgetを使用する
ふと、tor経由でwgetやcurlでWebサーバにアクセス…
echo、printfでパイプから受けた値を出力する
ちょっとした作業で、「\n」とか「\t」で改行やタブが記述さ…
joinコマンドで覚えておくと便利な使い方8個
先日のシェル芸勉強会のテーマがjoinコマンドだったのだが、…
ファイルに合わせたアイコンを付けて表示してくれる『colorls』
ぼけーっとTwitter眺めてたところ、lsにファイルの種類…
コマンドの並列化を行える『GNU parallel』の個人的使い方まとめ
コマンドの並列処理を行う際、個人的にはGNU Paralle…
sedで文字列の各キャラクタを大文字・小文字・数字・記号ごとに異なる文字列に置き換える
ちょっとした処理で、特定の大文字・小文字・数字・記号ごとに、…
コンソール上でLeet変換された文字列(password→P@ssw0rd)をgrepする
ちょっと前にsedとブレース展開を使ってLeet変換した文字…
nohupで実行させたバックグラウンドジョブ終了時にメールで通知させる
ふと、nohupでバックグラウンドジョブ実行させたジョブにつ…