こんにちは、M田です。
NTT西日本様が販売しています「おまかせAI-OCR」について2回まとめさせていただきました。
「おまかせAI-OCR」の文字認識を試してみました～活字の認識編～
特に前回については「印刷された活字の文字認識」についてテストしてみた結果を紹介いたしました。活字の認識については優秀な結果だったのですが果たして、
手書きの文字の認識はどうなのか？
という疑問が当然でてくると思います。
今回は「手書きの会計票の文字認識」についてテストしてみました。
しかし……我ながら今回は恥ずかしさ満載な内容となっております。
テストの結果
あらかじめお断りしておきます。今回のテスト結果はあくまでも限定された状況での結果のため「おまかせAI-OCR」の絶対的評価ではありません。読取り精度をはじめとするシステムの機能の参考になれば幸いです。
さて簡単に結果から。次のような結果になりました。
- サンプルの会計票での認識正解率は約92%。
- 数字の読取り抜けがあった。これは致命的かも。
- 数字の誤認識からはAIのクセがうかがえるのではないか？
- 文字の誤認識ももちろんあるが、これはソースがひどすぎるかも。
今回の認識正解率約92%は優秀ではあると思いますが、これはちょっとゲタを履かせすぎの気がします。読取り項目が空欄のものも１項目とカウントしているのですが、今回のソースだと空欄が多すぎた感じがします。
厳密に「記載のある項目だけ」に注視すると、認識正解率は約79%になります。
「空欄を空欄として読取っている」を正解として入れてよいか？ 空欄が多くなれば当然正解率があがるので、ここは公平を期するためにも上記79%の数字もあげておきます。
以下、読取り結果と正解・不正解についてサンプルを紹介いたします。テストに使った会計票は、某100均ショップで購入した会計票に、私が手書きで書き込んだものです。このために架空のメニュー表も作成しました。読取り項目は色がついている部分です。
ああ恥ずかしい！ なぜに全世界に自分の下手な文字をさらさなくてはならないのか！？
弊社で一番字が汚いと自他共認める私の手書き会計票です。「おまかせAI-OCR」にとって強敵ではないでしょうか？
設定ですが「品名」「数量」は11分割し、「おまかせAI-OCR」の読取り条件は「指定なし（すべての文字）」としています。
読取り結果を見てみよう
今回も読取り後の「エントリー」画面から、抜粋してサンプルを作成しました。感想とともに紹介します。
日付の読取り
用紙にあらかじめ印字されている「月」「日」もあわせて読取っています。正解です。
客数の読取り
客数の数字の読取りは次のような結果になりました。
「2名様」が「72名様」？ これはおそらくAIが次のように判別しているのではないでしょうか？
似たケースの結果としてこのような誤りもありました。
考察はこんな感じでしょうか。
もうひとつ同じようなケースを紹介します。
考察はこちら。
こうしてみると、AIは読取った画像のストロークから数字を判別しているのではないか？と感じました。これは後でまた例を出します。
また、読取り抜けもありました。
客数の読取りに関しては誤りが多かったです。「名様」の部分とあわせて読取っていたからでしょうか？
他の数字に関する読取り
客数以外で数字に関する読取り結果は以下のとおりです。
数量マスの上のほうの「ちょろっ」とした部分は、この上のマスの数字が突き抜けた部分です。読み取り範囲内にジャマな「ちょろっ」がありますが、今回は「１」として読取っています。正解です。
ところが同じ「ちょろっ」でも間違えて読取ってしまった結果もありました。
左側の「点」のようなものを「１」として判断したのでしょうか？
これを「７」と判断しているのは、やはりストロークから判断しているのかなと想像します。次の読取り結果からもうかがえるのではないでしょうか？
我ながらひどい「５」ですが読取りは正解です。「５」はストロークが独特ですので間違いにくいのかもしれません。
他の数字に関する読取り結果は以上です。
品名の読取り
さていよいよ今回のメインイベント、手書き文字の読取りです。見ていきましょう。
「ン」をよく読取れたなぁと感慨深いです。正解です。
ミル「タ」セーキ。それより「セ」のほうが厳しいと思うのですが。誤りです。
「サ」をよく読取ったと思いませんか？正解です。
これはすごいですよ。緑バー付きです。「おまかせAI-OCR」は自信を持って「ワイン赤」と判断しています。もちろん正解です。
これを間違いとするのは理不尽な気もしますが、辛口に評価します。たしかに「フ」ーヒーですよね。誤りです。
「ア」と「マ」は難しいのかもしれません。我ながら「タマゴサンド」の「マ」と、この「ア」は同じに見えます。すべては私の悪筆のせい。
これも読取り結果をとがめるのはお門違いな気がします。しかし間違いは間違い。
文字の読取り結果を確認していて、私はなんだか申し訳なくなりました。書いた本人でさえ判読が難しい文字を、「おまかせAI-OCR」に読取らせた上に、さらに間違いを厳しく指摘するなんて。
弊社ではアンケート結果の入力も行っているので手書き文章の文字起こしの苦労は実感しております。もしこの会計票の入力をお願いしたとすると……入力担当者に怒られそうです。
結果の集計
今回テストした条件と結果は次のとおりです。
- 伝票1枚あたりの項目数：26
- 読取り枚数：10枚
- 読取り全項目数：260（26項目×10枚）
- 「誤り」判定数：20
- 正答率：約92%
ただし最初に書いたとおり、この会計票には空欄が多くありましたので、入力のある欄のみに着目すると次のようになります。同じく読取り枚数10枚の場合です。
- 読取り全項目数：96
- 「誤り」判定数：20
- 正答率：約79%
「誤り」の内訳を見てみましょう。次のとおりです。
- 数字に関する読取り間違い、抜け：9
- 空欄を「1」と検出：6
- 文字の読取り間違い：5
次項で感想とともに考察してみます。
まとめ
以上より、「おまかせAI-OCR」の手書き会計票の認識については結構優秀だと言えるのではないでしょうか？
特に文字の認識については優秀さが現れていると思いました。なにせ書いた本人が後から見ても難読な文字を「おまかせAI-OCR」は認識してしまうのですから。文字認識の読取り間違いは上にあげた5例の他に、「ビール」を「ピール」に間違えたものがありました。これも惜しい間違いです。
一方、数字の認識については不満が残ります。今回の読取り間違いの結果から、
- 間違えた理由がなんとなく予想できるもの
- なぜ間違えたか予想がつかないもの
に分かれると思います。
特に致命的なエラーだなと思うのは、空欄を「1」として読取っている6件です。これはベリファイ時にも見逃しそうになるので危険なエラーだと感じました。
ここで思い出したいのが前回の「活字の認識」の結果です。活字の認識でも数字の読取り間違いがありました。「おまかせAI-OCR」は、文字の読取りは得意だが数字の読取りが苦手なのかもしれません。もちろんこれは私が行った限定的な状況でのテスト結果ですので、参考程度に思っていただければ幸いです。
今回は試してないのですが、前回の「活字の認識」の最後の「まとめとTips」で紹介した「読取条件の指定」を設定すると、認識率が向上するかもしれません。今回は「指定なし（すべての文字）」といういわゆるデフォルト設定でした。
今回の反省点がもうひとつ。喫茶店のメニューを想定した架空会計票だったので、文字の種類がかたよっています。カタカナばかりの読取りになってしまいました。
というわけで次回は、「漢字もひらがなも取り入れた手書き帳票」の読取りテストですね。また世界に文字の汚さをさらしますよー😂
以上、「おまかせAI-OCR」の「手書き会計票の認識」のテストでした。ここまで読んでいただいてありがとうございました。