知らないと損をする？SRA東北なんちゃってAI研究所Vol.5　研究事例「AIで画像の中から特定の値だけを抽出できるのか？最良の選択肢とは？」の巻

お客様から問題用紙の解答部分をAIを活用して自動で抜き出せないかって依頼があったんだけど、できそうかな？問題用紙のフォーマットはお客様からもらっているんだよね。解答欄が青色の枠で囲まれてる部分が多いから、青色の枠を画像AIを使って学習させてそこから値を読み取れないかなって思ってるんだよ！もらったフォーマットはこんな感じだよ。

何事もとりあえずやってみるんじゃよ！PDFを画像に変換してからAzureのCustom Visionで青の枠をAIに学習させてみてはどうかの？なるべく学習させる数は多い方がよいぞ。
AIに学習させる箇所と抽出する箇所のイメージはこんな感じじゃ。

AzureのCustom Visionなら使ったことがあるから、実際に学習させて抽出までやってみるよ！

タグ付けはやっぱり大変だね。。なんとか終わったよ！
こんな感じで青の枠で囲まれている解答欄を抽出することができたよ！

お疲れ様じゃな。んん？確かに青色の解答欄を抽出することには成功しておるようじゃが、枠に囲まれていない解答欄の抽出には失敗しておるようじゃぞ。

あれー！動いたのがうれしすぎて、気づかなかった。。くそー！上手くいったと思ったのになー！

すまぬ、すまぬ。わしも見逃しておったわ。ただ気づかないおぬしも悪いわな。（笑）
すべての解答が青色の枠で囲まれている問題用紙ならよかったかもしれんが、例外的なフォーマットの部分をどうするかという問題は考えないといけんの。

この結果だとまた上司に怒られちゃうよ。。なんとかならないかなぁ博士ー。

そうだね。青枠を抽出するやり方は今回のフォーマットには適してなかったね。

なるほど！さすが博士！じゃあ早速やってみるね！

学習終わったー！！今回も長丁場だったな。。
さてさて、今度はこんな感じの結果になったよ！余分な余白部分も抽出してしまっているけど、問題番号と問題番号で挟まれている箇所を抜き出すことには成功してるっぽいね！

さっきよりは抽出できる個所が大分増えたのぉ！ただ、まだ一つだけ抽出できていない箇所があるようじゃぞ。問題番号で囲まれていない箇所が抽出に失敗しておるようじゃ。またまたわしも見落としておったわ。すまんすまん（笑）

あれれ、そんなところにも問題があったなんて！でも、ぼくも気づかなかったけど博士もまだまだだね。

おい、調子に乗るでない（笑）

それにしても、もう少しのところまでは来てるのに上手くいかないもんだなー。これはもう抽出することが難しいのかなぁ。

まだあきらめるには早いぞ！90%ほどの抽出に成功しておるからあと少しじゃな。
じゃあ最後特別にとっておきの方法を伝授したる！

とっておきの方法？！それは早く知りたいな！！（先に教えてくれればいいのに。。）

トライ2の方法では問題番号を学習させて問題番号と問題番号の間を解答欄として抽出しとったが、それだと解答欄が問題番号で囲まれていない場合は抽出できなかったんじゃな。

今回は惜しかったんだけど、このやり方だと完全に抽出は難しいみたいだね。

そこでじゃ、フォーマットにとらわれずに抽出を行うことができる方法を教えるぞ！
それはな、人が事前に解答の部分をここだよって決めてそれをシステムが自動で抜き取るんじゃよ。

んーあれ？それだと今までよりも手間がかかっちゃうってことなのかな？というか、AIは使わないってこと？

確かに人の手が最初に介在するから手間は少し増えるんじゃが、それも最初の一回だけと考えれば作業の負担は大きく軽減されて高い精度のものが作れるぞ。

AIはあくまで手段としてとらえて、状況に応じて最善の選択をすることが大事じゃな。
こんな感じのイメージじゃ！

なるほどね！AIを活用した全自動にこだわりすぎて本来の目的を見失っていたような気がするよ！確かにそれなら少し負担する部分が出ても高い精度を求めるならメリットの方が大きいね！
早速やってみます！

こんな感じのシステムができたよ！

じゃあ、さっそくこれを使って解答を抽出してみるよ！

トライ1とトライ2より高い精度で解答部分を抽出することに成功したよ！事前作業が必要になったけど、一度抽出部分をマーキングしてしまえば同じフォーマットなら何度もマーキングする必要がないから、思ったより手間じゃなかったよ！

それはよかったのぉ！結局のところお客様の負担を軽減することが目的じゃから手段にこだわり過ぎずに状況に応じていろんな方法を検討してみるのがよいぞ。
3つ目のパターンだと問題用紙の種類が増えない限り事前作業は追加されんから、思ってるより負担もそこまで大きくないんじゃ！

なるほどねぇ。しみじみ。
確かに手段にこだわり過ぎないことは大事だよね！今後もやり方を検討する時に考慮するようにしていくよ。
さすがAI博士！ほんとにありがとう！