Data manipulation / データ操作

今年も花粉のスギ季節がやってきました。別に花粉が飛んでるか飛んでないかなんて知ったところで症状が変わるわけではないものの、データが公開されているならばこれを取得してみようかという気になるもの。…ならない?

Data manipulation / データ操作,Script / スクリプト

あくまで個人的な話。これで正しいかはよくわからないけれど、今のところシェルスクリプトでのスクレイピングはこのスタイルに落ち着きつつあります。

HTTPステータスを確認しよう

curlは受信デ

Data manipulation / データ操作,unix

2018年夏、人生2回目のロシア渡航にあたり色々と調査した内容を、2018年夏版、極東ロシア渡航情報メモとしてまとめました。

その中でSASCOというロシアの船会社のサイトをスクレイピングしてデータを表示している部分がある ...

Asset management / 資産運用,Data manipulation / データ操作,Script / スクリプト

Google Finance APIの配信が停止して、株価の終値は証券会社のメールサービスを利用するという形で対応しました。為替レートの取得についてはopenexchangerates.orgというAPIを使うことにします。

Script / スクリプト,Web server

Vultrには有料のバックアップオプションとは別に、当面の間無料のスナップショット機能があります。データベースの内容を含むサイトデータは毎晩自動で別サーバーにバックアップを取っているのですが、サーバー丸ごとのバックアップもあるといいよ ...

Data manipulation / データ操作,Script / スクリプト

ゴールデンウィークに台湾へ行きました。

以前も書いたようにリアルタイムでラジオの聴取はできないのでNHKゴガクのサイトを使っていますが、海外では聴取できないので何らかの手を打たねばなりません。

※実際にはゴール ...

Data manipulation / データ操作,Script / スクリプト

以前、メールを使ったTOPIX版ダウの犬のデータ自動更新をしました。この時は受信メールの内容から必要なデータを抜き出して利用しただけですが、これを応用すればメール自動応答システムが作れますね。

フライト情報メール送信サービ ...

Data manipulation / データ操作,Script / スクリプト

シェルスクリプトでJSONを扱う場合、jqコマンドを使うと楽みたい。…なんだけど、あえてunixコマンドでやってみる。てかそんな複雑な処理しないし。。。

JSONデータフォーマット

JSON

Data manipulation / データ操作,Script / スクリプト

先日地下鉄の駅構内で東京公共交通オープンデータチャレンジのポスターを見かけました。電車やバス、飛行機の情報をオープンデータとして提供するのでアプリケーションを作って応募してくださいというもの。

コンテストに応募するかどうか ...

Web site / サイト作成

以前NginxでのBASIC認証の設定方法について書きました。

その際に.htpasswdファイルをhtpasswdコマンドで作ると書いたのですが、このコマンドはApacheをインストールしていないと入っていません。