Pokétomoで稀にカイロスがキャタピーと誤認識されてしまう問題

Pokémon GO用のポケモンの個体値を計算するアプリを作っています。

(公開停止しました)

Pokétomoではスクリーンショットを解析して個体値を求めるのですが、今回稀にカイロスがキャタピーと誤認識されてしまう問題についてメモしておきたいと思います。

個体値計算アプリでのポケモン識別について

まぁ、Pokétomo自身が他のアプリの二番煎じだったりするんですけれど、スクリーンショットからポケモン識別をおこなうサービスは他にもたくさんあります。

ざっくりと確認した限り、名前部分をOCRにかけてポケモンの識別をおこなうものが多いようです。

Pokétomoでは諸々の前提があったのもあり、僕には名前から識別する発想が出てきませんでした。例えば、

Pokémon GOは日本での配信が後発だった
Pokémon GOは多言語対応されている(言語によってポケモンの名前が一定ではない)
僕自身が1匹1匹に名前をつけていた*1

確かに自分が使うために開発しているので、OCRかけて日本語だけに対応しておけばよかったな……と思いましたが、画像処理の勉強になるし、結果的にはよかったのかな……と。

Pokétomoでのポケモン識別について

Pokétomoでは名前ではなくて、ポケモン画像の部分から種族(っていうのか?)を特定しています。

当初、OpenCVのオブジェクト検出のみで対応しようと、適当な分類器を作ってかなり雑な前提で一度テストしてみたのですが、1つの分類器を使って検出させるのに20ミリ秒かかっていました。これだけならば十分に早いのですが、全ポケモン151種類を対応しようと思うと151種類x20ミリ秒(=3,020ミリ秒)もかかってしまうことがわかりました。

CPやらHPやらの解析も必要な中で、スクリーンショット1枚を解析するのに何秒も待たないといけないのは使い勝手が悪いなぁと思ったので、まずは色の頻出度で類似性である程度絞り込みをおこなってから、OpenCVでオブジェクト検出させようと思いました。

ほとんどの場合はこれで十分対応することができたようでしたので、v1.1ではポケモンの識別は色のみでおこなっています。

明らかに他と異なる配色のエレブーは0.9(90%)を超えた類似度で誤認識することが少ないですが、似た背景のポケモンの場合には誤検出してしまいました。やはり色だけでは完全ではないようです。