Data manipulation / データ操作, Script / スクリプト

あくまで個人的な話。これで正しいかはよくわからないけれど、今のところシェルスクリプトでのスクレイピングはこのスタイルに落ち着きつつあります。

HTTPステータスを確認しよう

curlは受信データを標準出力に出力しま

Data manipulation / データ操作, unix

この夏、人生2回目のロシア渡航を目論んでいて、色々と調査した内容を2018年夏版、極東ロシア渡航情報メモとしてまとめています。

その中でSASCOというロシアの船会社のサイトをスクレイピングしてデータを表示している部分があ ...

Asset management / 資産運用, Data manipulation / データ操作, Script / スクリプト

Google Finance APIの配信が停止して、株価の終値は証券会社のメールサービスを利用するという形で対応しました。為替レートの取得についてはopenexchangerates.orgというAPIを使うことにします。

Data manipulation / データ操作, Script / スクリプト

ゴールデンウィークに台湾へ行きました。

以前も書いたようにリアルタイムでラジオの聴取はできないのでNHKゴガクのサイトを使っていますが、海外では聴取できないので何らかの手を打たねばなりません。

※実際にはゴール ...

Data manipulation / データ操作, Script / スクリプト

以前、メールを使ったTOPIX版ダウの犬のデータ自動更新をしました。この時は受信メールの内容から必要なデータを抜き出して利用しただけですが、これを応用すればメール自動応答システムが作れますね。

フライト情報メール送信サービ ...

Data manipulation / データ操作, Script / スクリプト

シェルスクリプトでJSONを扱う場合、jqコマンドを使うと楽みたい。…なんだけど、あえてunixコマンドでやってみる。てかそんな複雑な処理しないし。。。

JSONデータフォーマット

JSONデータはオブジェクトの配

Data manipulation / データ操作, Script / スクリプト

先日地下鉄の駅構内で東京公共交通オープンデータチャレンジのポスターを見かけました。電車やバス、飛行機の情報をオープンデータとして提供するのでアプリケーションを作って応募してくださいというもの。

コンテストに応募するか ...

Data manipulation / データ操作, Script / スクリプト

2018年6月7日

元記事のGoogle Finance APIを使った株価の取得記事はAPI配信停止に伴い公開を中止しました。

株価の取得については本記事を、為替の取得についてはOpenExchangeRates. ...

Data manipulation / データ操作

MySQLについての基本的な内容のメモです。オリジナルはGithubに置いてありました。

基本コマンドの抜粋やらポートフォワーディングやら、いわゆるチートシートです。

データフォーマット

データフォーマ

Data manipulation / データ操作

WordPressでコメント欄を無効化したいなと思っていろいろ調べたところ、コメント欄の有効無効設定は記事ごとにやらなければならないという大変面倒な結論が得られました。

今回設定変更したかったWordPressサ