mattintosh note

技術書典に出たい人生だった…

Elasticsearch を使って VTuber のデイリーレポートを作ったのでちょっとまとめておく

最近 VTuber にハマりつつある筆者です。 会社とかでたまに VTuber の話が出ることがあるんですが、だいたい「VTuber ってどれくらいいるの?」みたいに聞かれるので「これ見ればいいよ」的なものがあったらなぁと思って気がついたらウェブサイト作ってまし…

jq コマンドで2つのファイルから配列を結合する

YouTube Data API を使っていると maxResult=50 が限界なのでそれ以上になるとどうしても JSON が分かれてしまう。Python とかなら JSON をオブジェクトに変換してしまえばいいのだけど、忘れるので jq コマンドで実行する方法をメモっておく。 1.json { "it…

AWS Elasticache で作成した Redis に外部から接続したい

Heroku Redis を使っている方から「Redis だけ AWS を利用出来ないか?」というご相談をいただいたので検証してみた。 本記事は接続検証を目的としたものです。本記事に起因して発生したいかなるトラブルや損害等について当方は一切責任を負いません。 事前…

Python GeoIP 系のメモ

最近 Python で GeoIP を使うことが多いけど、なんか色々種類があってわからなくなってきたのでちょっとまとめておく。 GeoIP2 maxminddb GeoIP データベースファイル(GeoLite2-City.mmdb)は下記からダウンロードできる。 GeoLite2 Free Downloadable Data…

DNS サーバのログを Elasticsearch と Kibana で可視化する

自宅で DNS サーバに Unbound を使っているのだけど立ててるだけで特に監視していないので何か遊んでみようと考えた。 久しぶりに Fluentd を使おうと思ったらバージョンが変わっていて conf の書式にハマった。 Unbound 1.9.0 fluentd 1.4.0 Python 3.5.3 E…

Elasticsearch とオブジェクト指向。Object datatype と Nested datatype の違い

Elasticsearch のデータタイプには Object datatype と Nested datatype というものがある。 Object datatype | Elasticsearch Reference [6.6] | Elastic Nested datatype | Elasticsearch Reference [6.6] | Elastic これを説明する前にオブジェクト指向な…

Elasticsearch で電子書籍ランキングを作ってみた Vol.2

前回の続き。 なんだか時間が経つうちにどんどん収集対象が増えてしまった。 Amazon(Kindle) iTunes Google Play ニコニコ静画 DMM電子書籍 BookLive! eBookJapan コミックシーモア 楽天ブックス ebookman.ga 新しく Table や Chart.js でグラフを追加して…

Elasticsearch で kuromoji を使って Kibana でタグクラウドを作る

Slack のメッセージを解析するために Elasticsearch に Kuromoji を入れて Kibana でタグクラウドでも作ろうとしたんだけど、まぁいろんなサイト見てもわかりづらいので自分なりにまとめる。 Elasticsearch のバージョンは下記の通り。 Version: 6.5.2, Buil…

Vue.js で2つの配列からデータを取得する

Vue.js の勉強してるけどなんかなぁ…って感じ。どうも文法というか書式というかに馴染めない感じ。自分の頭がオブジェクト指向じゃないからなんだろうけど。MVVM の解説読んでみたけど初歩的なことやってないから View とか Model とかよくわからない。 さて…

Elasticsearch と Vue.js で電子書籍ランキングを作ってみた

Raspberry Pi で作った Elasticsearch サーバにデータをポイポイと突っ込むこと数日。ある程度データも集まり、ストア間の項目も整理できてきたのでサムネイル一覧的なものが欲しいなぁと思い、http://ebook.stellarcat.net/ で作ってみた。(ドメインの契約…

電子書籍の情報を Elasticsearch で収集する

Raspberry Pi Elasticsearch の検証用に色々とデータを収集。 最近 Amazon プライムで色々と漫画を見てるのだけど、他のストアではどうなんだろうなと思って電子書籍のランキングなんかを拾ってきてる。 ストアによってランキングから拾える情報が異なるため…

Raspberry Pi で Elasticsearch と Kibana

AWS Elasticsearch Service をお試してで使ってみたけど用途に対してコスパが悪いので、余ってる Raspberry Pi 3 Model B で運用することにした。Elasticsearch と Kibana を1台の Raspberry Pi 3 Model B で稼働させるのは重いので現在は ASUS Tinker Board…

Amazon Elasticsearch Service 6.x 用に curator をインストールする

容量削減のためインデックス自動削除に curator を導入することにした。 Amazon Elasticsearch Service のバージョンは「6.2.3」。EC2 インスタンスの AMI は「Ubuntu Server 18.04 LTS (HVM), SSD Volume Type - ami-07ad4b1c3af1ea214」。 $ curl -sq 'htt…

NanoPi-NEO2 で MIB の変換ができない

YAMAHA WLX202 が来たので snmpwalk でデータを取ってみたりしてるんだけど変換されない。というかエラーがゴソゴソと出る。 X86_64 Ubuntu には snmp-mib-downloader パッケージがあるけど NanoPi-NEO2 の aarch64 Ubuntu のパッケージリストには出てこない…

NanoPi NEO2 の APT サーバを JP サーバに変更

パッケージのアップデートしようと思ったらハッシュ不一致とか出るのでサーバ変更。 デフォルトの /etc/apt/source.list ではサーバは http://ports.ubuntu.com に設定されている。 # See http://help.ubuntu.com/community/UpgradeNotes for how to upgrade…

久しぶりに HDD を買った

ネットワークストレージの空き領域が無くなったのでいい加減買い足し。地雷と言われてる ST4000DM004 にした。Western Digital はあまり好きじゃないし、昔ほど HDD の性能に拘りは無い。 いまはネットワークインターフェイスの関係で Raspberry Pi 3 から N…

Elasticsearch と Kibana で遊んでみたよ

エンジニアで記事を書くと言えば Qiita でしょうか。先日、数年ぶりに記事を投稿してみましたがやっぱりなんか書きづらいなぁと。というかいつからあそこは自分の年収を書く場所になったのやら。 そんな話は置いておき、7月に転職しました。会社に所属はして…

Wine 3.13 版 EasyWine.app リリースしました

タイトルの通りです。今回は諸事情により WineSkin 版と MikuInstaller-Kai-Kit 版はありません。 matome.naver.jp Google URL Shortener が終了してたので久しぶりに bit.ly 使いました。インターフェイスが色々変わっていてびっくり。 今年は「夏コミ前に …

Begin: Running /scripts/local-premount で Ubuntu の起動が遅い

昨日ぐらいから Ubuntu を起動するときにやたら時間がかかるようになった。nosplash で起動しているので画面にログは出ているのだけど Begin: Running /scripts/local-premount のあたりで止まっている様子。 /scripts/local-premount と言えば /etc/initram…

Ubuntu で Atom や Haroopad のフォントが汚い

Haroopad。なかなか良いアプリなんだけど Ubuntu 18.04 で使っているとなぜだかレンダリングがおかしい。うちは KDE だし仕方ないのかなぁ〜なんて思ってて、Atom を使う用事があったので起動したらこいつも汚い。freetype か pango あたりかな、なんて調べ…

Cisco Packet Tracer 用 Docker コンテナを作る

タイトルの通り。「Cisco Packet Tracer が Ubuntu 14.04 向けなら Ubuntu 14.04 で環境を作ればいいじゃない!」というノリ。 「ん?X11 転送以外で Docker コンテナから GUI ウィンドウってホストに持ってこれるのか?」と思ったけど -v /tmp/.X11-unix/X0…

Cisco Packet Tracer 7.1.1 を Ubuntu 16.04 や Debian 9 以降にインストールする方法

会社で CCENT/CCNA の教材作成用に Cisco Packet Tracer を使う用事があったので Linux 版のインストール方法を残しておく。 Ubuntu 16.04 以降では Packet Tracer 7.1.1 をインストールしただけでは起動できない Linux 向けの Cisco Packet Tracer 7.1.1 は…

VirtualBox の UEFI で Ubuntu が起動しない

EFI ブートの PC 用に USB メモリを作ってるんだけど、インストール後に VirtualBox を落として起動したら Ubuntu が起動しない…と。 なんか前にも同じようなことがあった気がするけど、どうやったっけ…で調べたら詳しく解説してくれてる方がいた。 www.down…

Wine 3.0 版 EasyWine Nihonshu をプレリリースしました

Wine 3.0 がリリースされたので各種頒布物をビルドしました。 EasyWine-20180121_wine-3.0.dmg MikuInstaller-Kai-Kit_wine-3.0.dmg wine-3.0_nihonshu-20180121.tar.bz2 ws_wine-3.0_nihonshu-20180121.tar.7z matome.naver.jp パッチは 2.x 系からそのまま…

Ubuntu 17.04 Zesty から 17.10 Artful へ

apt-get update したら URL が見つからないよと言われたので。リポジトリを ftp.riken.jp にしてるんだけど Zesty のサポートが2018年1月までだったのでサーバから無くなったようだ。 $ cd /etc/apt $ sudo gzip -k sources.list $ sudo sed -i'' 's/zesty/a…

Linux で qaac がさくっと使える Docker コンテナを作った

C93 で CD を色々買ってきたので PC に取り込もうとしたんだけど、新しい PC に qaac の実行環境を作ってなかったので Docker で作れるようにしてみました。 github.com qaac って何? (ざっくり言うと)iTunes なしでコマンドラインから Apple の AAC/ALAC…

qaac の準備が面倒くさいのでスクリプト化した

Linux で iTunes の AAC/ALAC エンコーダーを使うために WINE 経由で qaac を使うんだけど、qaac の準備がめんどくさかったのでスクリプト化した。 Linux で qaac を使う方法は過去記事参照。 mattintosh.hatenablog.com qaac のバージョンは執筆時点では 2.…

Mac や Linux でコミケカタログROM版は使えるのか?

今年はちゃんと人柱になってコミケDVD-ROMカタログ買いました!Nihonshu/EasyWineでMacでもとりあえず開けてるぞ(*´ω`*)#コミケ #C93 #Mac #Wine #Nihonshu #EasyWine pic.twitter.com/NUizxgoWPV— mattintosh4 (@mattintosh4) 2017年12月23日 だいぶ前から…

Raspberry Pi で AC100V を制御する

先日参加した「IoT もくもく会」で SSR(ソリッド・ステート・リレー)の存在を教えていただいたので早速、秋月電子で SSR キットを買ってきた。お値段250円。 akizukidenshi.com この製品はトライアック、フォトトライアック、サージ吸収素子、抵抗、基板が…

Node-RED から Zabbix にデータを連携する

始める始めると言いつつまだ始めてない FlashAir Lua。Zabbix は Zabbix Sender が無くてもソケット通信ができればデータを送れるのは前に試したときにわかったけど、FlashAir の Lua からソケット通信が出来るかどうかがわからない。とりあえず HTTP で何か…