mattintosh note

どこかのエンジニアモドキの備忘録

jq コマンドで2つのファイルから配列を結合する

YouTube Data API を使っていると maxResult=50 が限界なのでそれ以上になるとどうしても JSON が分かれてしまう。Python とかなら JSON をオブジェクトに変換してしまえばいいのだけど、忘れるので jq コマンドで実行する方法をメモっておく。 1.json { "it…

AWS Elasticache で作成した Redis に外部から接続したい

Heroku Redis を使っている方から「Redis だけ AWS を利用出来ないか?」というご相談をいただいたので検証してみた。 本記事は接続検証を目的としたものです。本記事に起因して発生したいかなるトラブルや損害等について当方は一切責任を負いません。 事前…

Python GeoIP 系のメモ

最近 Python で GeoIP を使うことが多いけど、なんか色々種類があってわからなくなってきたのでちょっとまとめておく。 GeoIP2 maxminddb GeoIP データベースファイル(GeoLite2-City.mmdb)は下記からダウンロードできる。 GeoLite2 Free Downloadable Data…

DNS サーバのログを Elasticsearch と Kibana で可視化する

自宅で DNS サーバに Unbound を使っているのだけど立ててるだけで特に監視していないので何か遊んでみようと考えた。 久しぶりに Fluentd を使おうと思ったらバージョンが変わっていて conf の書式にハマった。 Unbound 1.9.0 fluentd 1.4.0 Python 3.5.3 E…

Elasticsearch とオブジェクト指向。Object datatype と Nested datatype の違い

Elasticsearch のデータタイプには Object datatype と Nested datatype というものがある。 Object datatype | Elasticsearch Reference [6.6] | Elastic Nested datatype | Elasticsearch Reference [6.6] | Elastic これを説明する前にオブジェクト指向な…

Elasticsearch で電子書籍ランキングを作ってみた Vol.2

前回の続き。 なんだか時間が経つうちにどんどん収集対象が増えてしまった。 Amazon(Kindle) iTunes Google Play ニコニコ静画 DMM電子書籍 BookLive! eBookJapan コミックシーモア 楽天ブックス ebookman.ga 新しく Table や Chart.js でグラフを追加して…

Elasticsearch で kuromoji を使って Kibana でタグクラウドを作る

Slack のメッセージを解析するために Elasticsearch に Kuromoji を入れて Kibana でタグクラウドでも作ろうとしたんだけど、まぁいろんなサイト見てもわかりづらいので自分なりにまとめる。 Elasticsearch のバージョンは下記の通り。 Version: 6.5.2, Buil…

Vue.js で2つの配列からデータを取得する

Vue.js の勉強してるけどなんかなぁ…って感じ。どうも文法というか書式というかに馴染めない感じ。自分の頭がオブジェクト指向じゃないからなんだろうけど。MVVM の解説読んでみたけど初歩的なことやってないから View とか Model とかよくわからない。 さて…

Elasticsearch と Vue.js で電子書籍ランキングを作ってみた

Raspberry Pi で作った Elasticsearch サーバにデータをポイポイと突っ込むこと数日。ある程度データも集まり、ストア間の項目も整理できてきたのでサムネイル一覧的なものが欲しいなぁと思い、http://ebook.stellarcat.net/ で作ってみた。(ドメインの契約…

電子書籍の情報を Elasticsearch で収集する

Raspberry Pi Elasticsearch の検証用に色々とデータを収集。 最近 Amazon プライムで色々と漫画を見てるのだけど、他のストアではどうなんだろうなと思って電子書籍のランキングなんかを拾ってきてる。 ストアによってランキングから拾える情報が異なるため…