mattintosh note

どこかのエンジニアモドキの備忘録

Elasticsearch

pip3 で curator がインストール出来なくなったので GitHub ソースからビルドする

久しぶりに Elasticsearch のインデックスを見てると保存期間 30 日で curator で削除しているはずなのにずっと残ったままになっていた。何かのタイミングで pip3 でインストールした curator が動かなくなっていたっぽい。(そういえば Debian Streach から…

2019/11/04〜2019/11/10のVTuber再生数増加ランキング

完全にただの暇つぶしなんですが、Elasticsearch に毎日突っ込んでる YouTube API のデータをちゃんと利用したいな、と。今のところ 433 ユーザ登録してあるんですが、そのうちの上位 50 ユーザの再生数ランキングの HTML を自動生成するようにしました。You…

YouTube Data API と Elasticsearch を使って Aggregation Query を学ぶ

最近 VTuber にハマりつつある筆者です。 会社とかでたまに VTuber の話が出ることがあるんですが、だいたい「VTuber ってどれくらいいるの?」みたいに聞かれるので「これ見ればいいよ」的なものがあったらなぁと思って気がついたらウェブサイト作ってまし…

Python GeoIP 系のメモ

最近 Python で GeoIP を使うことが多いけど、なんか色々種類があってわからなくなってきたのでちょっとまとめておく。 GeoIP2 maxminddb GeoIP データベースファイル(GeoLite2-City.mmdb)は下記からダウンロードできる。 GeoLite2 Free Downloadable Data…

DNS サーバのログを Elasticsearch と Kibana で可視化する

自宅で DNS サーバに Unbound を使っているのだけど立ててるだけで特に監視していないので何か遊んでみようと考えた。 久しぶりに Fluentd を使おうと思ったらバージョンが変わっていて conf の書式にハマった。 Unbound 1.9.0 fluentd 1.4.0 Python 3.5.3 E…

Elasticsearch とオブジェクト指向。Object datatype と Nested datatype の違い

Elasticsearch のデータタイプには Object datatype と Nested datatype というものがある。 Object datatype | Elasticsearch Reference [6.6] | Elastic Nested datatype | Elasticsearch Reference [6.6] | Elastic これを説明する前にオブジェクト指向な…

Elasticsearch で電子書籍ランキングを作ってみた Vol.2

前回の続き。 なんだか時間が経つうちにどんどん収集対象が増えてしまった。 Amazon(Kindle) iTunes Google Play ニコニコ静画 DMM電子書籍 BookLive! eBookJapan コミックシーモア 楽天ブックス ebookman.ga 新しく Table や Chart.js でグラフを追加して…

Elasticsearch で kuromoji を使って Kibana でタグクラウドを作る

Slack のメッセージを解析するために Elasticsearch に Kuromoji を入れて Kibana でタグクラウドでも作ろうとしたんだけど、まぁいろんなサイト見てもわかりづらいので自分なりにまとめる。 Elasticsearch のバージョンは下記の通り。 Version: 6.5.2, Buil…

Vue.js で2つの配列からデータを取得する

Vue.js の勉強してるけどなんかなぁ…って感じ。どうも文法というか書式というかに馴染めない感じ。自分の頭がオブジェクト指向じゃないからなんだろうけど。MVVM の解説読んでみたけど初歩的なことやってないから View とか Model とかよくわからない。 さて…

Elasticsearch と Vue.js で電子書籍ランキングを作ってみた

Raspberry Pi で作った Elasticsearch サーバにデータをポイポイと突っ込むこと数日。ある程度データも集まり、ストア間の項目も整理できてきたのでサムネイル一覧的なものが欲しいなぁと思い、http://ebook.stellarcat.net/ で作ってみた。(ドメインの契約…

電子書籍の情報を Elasticsearch で収集する

Raspberry Pi Elasticsearch の検証用に色々とデータを収集。 最近 Amazon プライムで色々と漫画を見てるのだけど、他のストアではどうなんだろうなと思って電子書籍のランキングなんかを拾ってきてる。 ストアによってランキングから拾える情報が異なるため…

Raspberry Pi で Elasticsearch と Kibana

AWS Elasticsearch Service をお試してで使ってみたけど用途に対してコスパが悪いので、余ってる Raspberry Pi 3 Model B で運用することにした。Elasticsearch と Kibana を1台の Raspberry Pi 3 Model B で稼働させるのは重いので現在は ASUS Tinker Board…

Amazon Elasticsearch Service 6.x 用に curator をインストールする

容量削減のためインデックス自動削除に curator を導入することにした。 Amazon Elasticsearch Service のバージョンは「6.2.3」。EC2 インスタンスの AMI は「Ubuntu Server 18.04 LTS (HVM), SSD Volume Type - ami-07ad4b1c3af1ea214」。 $ curl -sq 'htt…

Elasticsearch と Kibana で遊んでみたよ

エンジニアで記事を書くと言えば Qiita でしょうか。先日、数年ぶりに記事を投稿してみましたがやっぱりなんか書きづらいなぁと。というかいつからあそこは自分の年収を書く場所になったのやら。 そんな話は置いておき、7月に転職しました。会社に所属はして…