curlでスクレイピングするときの基本書式

あくまで個人的な話。これで正しいかはよくわからないけれど、今のところシェルスクリプトでのスクレイピングはこのスタイルに落ち着きつつあります。

キリル文字の文字コード変換

2018年夏、人生2回目のロシア渡航にあたり色々と調査した内容を、2018年夏版、極東ロシア渡航情報メモとしてまとめました。 その中でSASCOというロシアの船会社のサイトをスクレイピングしてデータを表示している部分があ … “キリル文字の文字コード変換”の続きを読む

OpenExchangeRates.orgで為替情報を取得する

Google Finance APIの配信が停止して、株価の終値は証券会社のメールサービスを利用するという形で対応しました。為替レートの取得についてはopenexchangerates.orgというAPIを使うことにしま … “OpenExchangeRates.orgで為替情報を取得する”の続きを読む

Vultr APIを使ってSnapshot機能でバックアップしちゃう

Vultrには月$1のバックアップオプションとは別に、月$0.05/GBのスナップショット機能があります。データベースの内容を含むサイトデータは毎晩自動で別サーバーにバックアップを取っているのですが、サーバー丸ごとのバッ … “Vultr APIを使ってSnapshot機能でバックアップしちゃう”の続きを読む