決定過程の説明責任
AIの判断、企業に説明責任 政府が7原則 混乱回避へ法整備 :日本経済新聞
いろいろとこの記事が社内外で話題を呼んでます．仕事でカバン持ち程度とはいえ関わったので，あまり内容についてあれこれ言うべきではない立場なのですが，一箇所だけフォローさせてください．以下，全て個人の意見であり，所属先とは無関係です．
決定過程の説明責任について，「AIの判断はブラックボックスで説明できない」という前提で話している人がいますが，実際には「AIの判断は説明できない」は誇張表現だと思っています．ただ，以下の説明において，土井は機械学習/AIについては門前の小僧に過ぎないので，詳細は間違っているかもしれません．鵜呑みにしないでくださいね．
まず，機械学習にせよAIにせよ，現在の前提としては全て通常入手可能なコンピュータ上で実行するソフトウェアで実現するものである，といって間違いではないと思います．これは，デバッガでステップ実行することも，途中で変数の値を見ることもできる，という意味です．なので，どういった計算/プログラムによってこの結果(判断)となったかについては，実際には1bit単位で全て確定的*1に動作しています．したがって，この意味においては全て「説明可能」です．ただし，そんな説明を聞いて，聞いた人が納得できるか？ と言われるとかなり疑わしいですが．
これは確か大屋先生のご指摘だったと思うのですが，説明責任といった時には，少なくとも現在の法体系の中では，合理的な説明，つまり他者/ステークホルダを納得させられる説明であること，また同時に，納得させられなかった場合は償うこと，という意味であるとのことです．個人的にはこの話をそのままAI/機械学習を用いた決定に使うべきかどうかは議論の余地があると思っていますが，仮にそうであるとします．
このとき，他者として機械学習の決定に納得するために必要な情報は何でしょうか？ 例えば金融のスコアリングであれば，あなたのスコアリングが高い/低い理由について，このスコアリングでは(例えば)資産額を重視している，であるとか，交友関係を重視している，であるとか，消費履歴の内容における享楽的な支出の割合を重視している，であるとか，そういったことがわかれば納得できるでしょうか？ 人間が判断するとしたら，例えばそのような説明を行うことになると思います．
人間は，そのような説明を行うときに，心の中でどのような分析を行うでしょうか．機械学習に限りませんが，わかりやすい方法に感度分析という方法があるそうです．すごくおおざっぱに理解すると，あるパラメータが結果にどの程度の影響を与えるかを知るために，パラメータを少し動かして，結果がどの程度変化するかを見る，という方法です．what-if 分析ですね．たとえば，どの要素が下がる/上がるとあなたのスコアがどう変化するのか，ということを示すことになります．これに解釈を与えて，「納得できるかどうか」を判断するのは人間の仕事となります．
それ以外にも，判断の根拠を説明するための技法はいろいろあって，特に深層学習関連の研究については以下のQiita記事がわかりやすいです．
さて，例えば感度分析にせよその他の方法にせよ，AI/機械学習側から何らかの根拠らしきものを提示されたとして，人間はこれを根拠として納得できるでしょうか．ここは実は技術の領域ではなく，心理学の領域だと思っています．心理学の実験については追試で否定されるものもたまに発生するので鵜呑みにして良いかどうかは難しいところですが，例えばカチッサー効果なるものもあって，「もっともらしい理由をつけられると，その理由が実際は何の根拠とならないものであっても，納得してしまう」場合もあるようです．
感度分析やその他の方法によって提示された根拠は，上のリンク先にあるコピー機の実験よりは根拠としてまっとうなものだと思うので，あとはこれを使う側(事業者側，利用者側双方)がこれをどのように判断するか，という点が重要になるのかなと思います．
そもそも論ですが，人は他人について判断する時に，十分に「決定過程を説明」しているでしょうか？ たまたま同じ日にこの問題について考えさせられる記事*2を読んでしまったので，久々にblogエントリにしました．ついでにはてなダイアリーからはてなblogに移行してみました．
*1:乱数まわり若干ややこしいですが
*2:研究者ですがフェイスブックにアカウントを永久停止されました | 保坂修司 | コラム | ニューズウィーク日本版 オフィシャルサイト
