curlでスクレイピングするときの基本書式
あくまで個人的な話。これで正しいかはよくわからないけれど、今のところシェルスクリプトでのスクレイピングはこのスタイルに落ち着きつつあります。
HTTPステータスを確認しようcurlは受信デ
OpenExchangeRates.orgで為替情報を取得する
Google Finance APIの配信が停止して、株価の終値は証券会社のメールサービスを利用するという形で対応しました。為替レートの取得についてはopenexchangerates.orgというAPIを使うことにします。
Vultr APIを使ってSnapshot機能でバックアップしちゃう
Vultrには有料のバックアップオプションとは別に、当面の間無料のスナップショット機能があります。データベースの内容を含むサイトデータは毎晩自動で別サーバーにバックアップを取っているのですが、サーバー丸ごとのバックアップもあるといいよ ...
NHKラジオ らじる★らじるを録音する
ゴールデンウィークに台湾へ行きました。
以前も書いたようにリアルタイムでラジオの聴取はできないのでNHKゴガクのサイトを使っていますが、海外では聴取できないので何らかの手を打たねばなりません。
※実際にはゴール ...
phpにWebページから値を渡す
phpでサイトを作っていると、Webページからphpにデータを受け渡したくなることがあります。
urlクエリに応じて振る舞いを変えるページやフォーム入力データを加工するページを作るために、先日調べた内容を簡単にまとめます。 ...
メールに自動応答してみる
以前、メールを使ったTOPIX版ダウの犬のデータ自動更新をしました。この時は受信メールの内容から必要なデータを抜き出して利用しただけですが、これを応用すればメール自動応答システムが作れますね。
フライト情報メール送信サービ ...
シェルスクリプトでJSONパーサを作ろう
シェルスクリプトでJSONを扱う場合、jqコマンドを使うと楽みたい。…なんだけど、あえてunixコマンドでやってみる。てかそんな複雑な処理しないし。。。
JSONデータフォーマットJSON
東京公共交通オープンデータチャレンジ
先日地下鉄の駅構内で東京公共交通オープンデータチャレンジのポスターを見かけました。電車やバス、飛行機の情報をオープンデータとして提供するのでアプリケーションを作って応募してくださいというもの。
コンテストに応募するかどうか ...
FreeBSDで受信したメールから情報を取り出す
元記事のGoogle Finance APIを使った株価の取得記事はAPI配信停止に伴い公開を中止しました。
株価の取得については本記事を、為替の取得についてはOpenExchangeRates. ...
PowerShellの使い方
bash on ubuntu on Windowsが使えるようになって、あまり需要がないかもだけれどまとめます。
スクリプト実行権限を付与するPowerShellのスクリプトは、コマンドプ