curlでスクレイピングするときの基本書式
あくまで個人的な話。これで正しいかはよくわからないけれど、今のところシェルスクリプトでのスクレイピングはこのスタイルに落ち着きつつあります。
HTTPステータスを確認しようcurlは受信デ
キリル文字の文字コード変換
2018年夏、人生２回目のロシア渡航にあたり色々と調査した内容を、2018年夏版、極東ロシア渡航情報メモとしてまとめました。
その中でSASCOというロシアの船会社のサイトをスクレイピングしてデータを表示している部分がある ...
OpenExchangeRates.orgで為替情報を取得する
Google Finance APIの配信が停止して、株価の終値は証券会社のメールサービスを利用するという形で対応しました。為替レートの取得についてはopenexchangerates.orgというAPIを使うことにします。
NHKラジオ らじる★らじるを録音する
ゴールデンウィークに台湾へ行きました。
以前も書いたようにリアルタイムでラジオの聴取はできないのでNHKゴガクのサイトを使っていますが、海外では聴取できないので何らかの手を打たねばなりません。
※実際にはゴール ...
メールに自動応答してみる
以前、メールを使ったTOPIX版ダウの犬のデータ自動更新をしました。この時は受信メールの内容から必要なデータを抜き出して利用しただけですが、これを応用すればメール自動応答システムが作れますね。
フライト情報メール送信サービ ...
シェルスクリプトでJSONパーサを作ろう
シェルスクリプトでJSONを扱う場合、jqコマンドを使うと楽みたい。…なんだけど、あえてunixコマンドでやってみる。てかそんな複雑な処理しないし。。。
JSONデータフォーマットJSON
東京公共交通オープンデータチャレンジ
先日地下鉄の駅構内で東京公共交通オープンデータチャレンジのポスターを見かけました。電車やバス、飛行機の情報をオープンデータとして提供するのでアプリケーションを作って応募してくださいというもの。
コンテストに応募するかどうか ...
FreeBSDで受信したメールから情報を取り出す
元記事のGoogle Finance APIを使った株価の取得記事はAPI配信停止に伴い公開を中止しました。
株価の取得については本記事を、為替の取得についてはOpenExchangeRates. ...
ごく初歩的なMySQLのこと
MySQLについての基本的な内容のメモです。オリジナルはGithubに置いていたもののリライトです。
基本コマンドの抜粋やらポートフォワーディングについて。
データフォーマット
MySQLを操作してWordPressのコメント欄をクローズする
WordPressでコメント欄を無効化したいなと思っていろいろ調べたところ、コメント欄の有効無効設定は記事ごとにやらなければならないという大変面倒な結論が得られました。
今回設定変更したか