こんにちは、M田です。
前回、NTT西日本様が販売しています「おまかせAI-OCR」の操作手順と感想についてかんたんにまとめさせていただきました。
「おまかせAI-OCR」のセールスポイントの一つに「AIによる高い識字率」があります。実際トライアルで試してみて想像以上に認識するので感心しているのですが、「いったいどれくらいなものなのか？」「どんな読取りミスをするのか？」について疑問をいだきました。
今回は「PCから出力された印刷物の認識」、つまり「活字の認識」についてテストしてみました。
テストの結果
まずは簡単に結果から。次のような結果になりました。
- サンプルの納品書での認識正解率は約97%。
- 数字と記号以外の読取りミスはなかった。
- 読取りミスとしたものの、辛口すぎる気が。許容範囲ではないか？
「高い識字率」の言葉に恥じない、堂々の認識正解率でした。ひらがな、カタカナ、漢字の認識にはまったく読取りミスがなかったのは驚きです。数字と記号で起こったミスも、思わず「うーん、おしいっ」と言ってしまうようなささいなものと感じました。
以下、読取り結果と正解・不正解についてサンプルを紹介いたします。テストに使った帳票は実際に使用されている以下のものです。一部マスク処理いたしました。
読取り結果を見てみよう
読取り後の「エントリー」画面から、抜粋してサンプルを作成しました。感想とともに紹介します。
数字の読取り
「伝票No」のような数字の羅列については問題ないようです。もちろん「正解」です。
「おまかせAI-OCR」が正解率が高いと思う項目には、緑のバーが表示されます。
ちなみに「緑のバーのある項目のエントリー作業を省略する設定」が可能です。
金額の読取り
桁区切り文字のある金額表記は正誤の判定に悩む結果になりました。
「原稿のとおりに読取っているか」を基準にしますので、辛口ですが「誤り」としました。
逆に金額としては間違って読取ってますが、「原稿のとおりに読取っているか」の視点からだと「正解」としました。
今回使用しているサンプル原稿の場合、桁区切り文字の印字が微妙なのでこのような少し納得行かないことが起こっているのかと思いました。
漢字・ひらがな・カタカナの・英字の読取り
数字以外の文字に関しては問題ないようです。
改行と空白が省略されています。空白を残したまま読取ることはできるのでしょうか？ これは現在の疑問点なのでまた後日に考察したいです。
「おまかせAI-OCR」が正解率が低いと思われる項目には、赤いバーが表示されます。特に「要注意」な項目がわかるので、エントリー作業での確認に役立ちます。
他の読取り誤り
数量の読取りで、数字の「1」が読取れていないケースがありました。
印字ミスや汚れのように見えるので空白と判定したのでしょうか？ しかしながらやはり「1」の読取りミスなので「誤り」としました。
結果の集計
今回テストした条件と結果は次のとおりです。
- 伝票1枚あたりの項目数：98
- 読取り枚数：4枚
- 読取り全項目数：398（98項目×4枚）
- 空白の項目数：12
- 「誤り」判定数：12
- 正答率：約97%
項目の中には空白が含まれています。空白を読取った結果が「空白」だった場合は正解としました。
「誤り」の内訳は以下のとおりです。
- 桁区切り文字「．」と「,」の読取り間違い：10
- 数字の「1」を読取れてない：2
つまり読取り間違いだったパターンは、上述の「読取り結果を見てみよう」に記述したものだけでした。
まとめとTips
以上見てきましたように、「おまかせAI-OCR」の活字の認識は非常に優秀と言えるのではないでしょうか？
特に「誤り」判定としたのはひらがなや漢字などの文字の認識ではなく、数字または桁区切り記号の認識だけだったという点は、正直当初の予想を裏切られました。桁区切り記号の認識で「誤り」とした点も、辛口すぎる気がします。
現実的に「金額」や「数量」として桁区切り文字は不要で、必要なのは数値そのものです。というわけで「おまかせAI-OCR」に「そのように設定」しましょう。
「読取範囲の指定」をするさいに、読取り範囲の「読取テスト」を行うことができます。上の画像のように、読取りテストを行うと「4,374」と読取ります。桁区切り記号「，」が不要です。
ここで「読取条件の指定」を行うと、設定中の読取り範囲に入るであろう内容を指定することができます。次の例は「数値」または「金額」を指定した結果です。
いずれの設定でも本当に必要な数値「4374」を取得することができました。この方法ですべての同じ「誤り」が起こらなかったとすると、正答率は約99%となります！
残りは「1」を読取れなかった「誤り」だけですね。これに関してはよくわかりません。また何かわかりましたらお知らせしたいと思います。
以上、「おまかせAI-OCR」の「活字の認識」のテストでした。ここまで読んでいただいてありがとうございました。