デジタル庁2023年度事業 行政での生成AI利活用検証から見えた10の学び (2/3)
デジタル庁のAI担当の大杉直也です。ここの記事では、生成AIによる業務改善の一助になればと思い、実際の行政業務で生成AIの利活用を検討する際に得られた知見を共有します。
本記事は、「デジタル庁2023年度事業 行政での生成AI利活用検証の結果報告（以降、報告書とよびます）」で得られた知見を、よりわかりやすく具体的に示すために、「10の学び」の形式にまとめたものです。
その検証ではデジタル庁を中心とした行政職員を対象に、実際に複数種類のテキスト生成AIを取り扱える環境＋ユースケースごとの独自開発を含むサポート体制を作り、(1)どの行政業務に対し、(2)どのようにテキスト生成AIを使えば、(3)どのくらい改善効果がありそうか、を調べました。 また、報告書には含まれていなかった個別ヒアリング等による知見も反映させています。
文量が少し多くなってしまったため、全3回の構成で紹介いたします。第1回では10の学びのうち、最初の５つの学びをまとめました。第2回の本記事では残りの5つの内、4つの学びをまとめます。最後の学びは第3回で紹介します。
今回得られたテキスト生成AIの業務活用への10の学びの一覧です。
時間の削減だけでなく品質向上も狙える
業務を工程に分解し、生成AIを使うべきでない箇所を意識する
「書く」だけでなく「読む」も得意
活用用途をチャットインターフェースに限定しない
「業務改善」だけでなく「システム改善」のためにもテキスト生成AIの検証環境は重要
初心者向けにコピペで使える状態が重要
作文に不慣れな人や、一般的な業務知識に乏しい人はテキスト生成AIの恩恵を受けやすい
繰り返し発生し、工程が切り出しやすい業務はテキスト生成AIの恩恵を受けやすい
ソースコードの作成業務はテキスト生成AIの恩恵を受けやすい
情報検索機能は個別具体のニーズに応じた特化開発の余地がある
本記事では6～9の学びを解説します。
初心者向けにコピペで使える状態が重要
本事業での生成AIの試行ができる技術検証環境は毎週200名前後が利用し、その半数以上が前週も使っていました。このことから一定の職員数は生成AIを熱心に利活用していたことがわかりました。
一方で、アンケート結果から、アカウント作成者の過半数はほとんど利用していない、その理由も「業務で忙しかった」「どのような業務に使用するのが良いのかわからなかった」が特に多いことがわかりました。
本事業では、テキスト生成AIの検証は業務効率改善を目的としており、業務で忙しいことは直接の理由にはなりません。正確には「業務で利用できるようにするための試行錯誤や学習の時間が確保できない」が理由だと考えられます。同じように「どのような業務に使用するのが良いのかわからなかった」という理由も、試行錯誤や学習の時間に関連するものだと考えられます。
この仮説の間接的な裏付けとなるアンケート結果があります。
機能別の評価を見ると「既存プロンプトテンプレートの利用」が最も評価が高かったです。プロンプトテンプレートとは、事前にテキスト生成AIの入力文を作りこんでおき、その一部を利用者からの入力で置き換えてテキスト生成AIに送信する機能です。
この機能があれば、利用者は(1)目的に応じたテンプレートを探す(2)必要最小限の情報だけを入力する、の2つの操作だけで生成AIから高品質な結果が得られます。いわば、誰かが作りこんだ文章をコピペで使いまわすようなものです。この機能は(1) テキスト生成AIに何ができるかを考えなくても良い(2) テキスト生成AIへの入力文を試行錯誤しなくても良い、の2つのメリットが利用者にあります。これらのメリットは試行錯誤や学習の手間を減らすことに直結できます。
今回の検証で作成されたプロンプト（テキスト生成AIへの入力文）のテンプレートもこちらに公開してあります。
全部で61個あります。 [hoge](必須)または[hoge](任意)の部分を利用者からの入力で置換してお使いください。
このテンプレート機能があったにも関わらず、今回の検証ではテキスト生成AI利活用をほとんど行わなかった利用者が多数いました。これは(1)テンプレート機能が認知されていない(2)自身の業務に適したテンプレートが見つけられなかった(3)自身の業務に適したテンプレートが存在しなかった、等の理由が考えられます。特に、テンプレートの見つけやすさとテンプレートの量の間にはトレードオフの関係があるため解決にはさらなる検討が必要そうです。
作文に不慣れな人や、一般的な業務知識に乏しい人はテキスト生成AIの恩恵を受けやすい
ヒアリングの結果、作文に不慣れな人の補助や一般的な業務知識に乏しい人がテキスト生成AIの恩恵を特に受けやすいことがわかりました。
作文に不慣れな人の補助は、作文の原案を提案してもらう使い方以外にも、自身が書いた文章を校正させる使い方や、適切な単語選びの相談といった使い方も有益です。
一般的な業務知識に乏しい人は新人だけではありません。公務員は異動が多く、異動先の業務知識を初歩から学ぶ機会がとても多いです。賢いとされているテキスト生成AIは、例えば一般的なシステム開発の用語に詳しく、追加で質問できる機能もあることから、単語でWeb検索するよりも学習効率が良い傾向にあるようです。例えばいきなり情報システム関連の部署に異動となった職員にとって、効率的に業務知識を学ぶことができます。
ただし、テキスト生成AIの知識は一般に広く知られているもの以外は信頼しない方が良いです。例えば法令の解釈や最新の情報は頼ってはならない等の注意喚起も必要でした。
繰り返し発生し、工程が切り出しやすい業務はテキスト生成AIの恩恵を受けやすい
テキスト生成AIを業務活用するために、テキスト生成AIの出力結果の品質をある程度確認する必要があります。（どの程度確認すべきかについての考察は第3回で少し行います）。一度きりしかない業務よりも何度も発生する業務の方が、生成AI活用の品質確認の手間に見合う傾向が高いです。
業務を工程別に切り出して検討する重要性は、第1回の「業務を工程に分解し、生成AIを使うべきでない箇所を意識する」についての学びのところで解説しました。
例えば、何度も発生する文章ラベリングの工程を生成AIでの半自動化は費用対効果が高いです。
ソースコードの作成業務はテキスト生成AIの恩恵を受けやすい
アンケートの結果、期待業務時間削減効果が最も高い業務は「パソコンの操作法やコードの生成」でした。
不慣れなプログラミング言語や、慣れているプログラミング言語でもちょっとした関数なら、テキスト生成AIの出力結果をベースに実行し、エラーが出てもその内容を再度テキスト生成AIに入力すれば、正しい修正方針が得られることもあり、非常に便利で効率的な使い方です。パソコンの操作法も公式のマニュアルがわかりにくいことも多く、テキスト生成AIに聞いた方が早い、といった例も良く耳にします。
この便利な「パソコンの操作法やコードの作成」についてですが、この利用方法自体が少数派であることもアンケート結果からわかりました。これはテキスト生成AIの利用方法についての発想が無い以上に、自身でプログラミングを行うといった習慣や、そもそも職員の環境で使いやすいソースコードの実行環境がないことが原因だと考えられます。
テキスト生成AIにより多くの職員がソースコードを作成しやすくなった恩恵を最大限活かせる環境整備が重要です。環境整備だけなく業務の選択肢に「プログラミングによる実現」が入る習慣や文化の構築まで必要だと考えております。この点は引き続き検討課題です。
まとめ
大雑把にまとめると以下の3点がテキスト生成AI利活用を業務に定着させるために重要だという学びが得られました。
忙しい人がすぐに助かる状態で渡すことが重要
業務に不慣れな人や、繰り返し発生する業務の自動化の恩恵が大きい
生成AI活用できる状態を整える（ソースコード実行環境）
逆に言えば、以下のような業務はテキスト生成AI利活用が難しいと言えます。
背景事情が複雑で、すぐに助かる状態になかなかできない
業務に慣れている人に対する一度きりの仕事
テキスト生成AIの恩恵が最大限活かせる周辺環境の整備ができていない
上記の業務はテキスト生成AI活用が難しいことがわかります。例えば、国会答弁書作成は最も向いていない業務のひとつかもしれません。ただし国会答弁書作成も工程に分解し、その中の一部の工程、例えば過去の答弁から類似表現を探す、ではテキスト生成AI活用の恩恵が得られる可能性があります。この種の情報検索とテキスト生成AIについては第3回で考察します。
ここまで10の学びのうち、1～9の学びを紹介しました。これらの内容は、どちらかというとテキスト生成AI活用の組織定着に主軸をおいた内容でした。最後の第3回の記事ではテキスト生成AIを情報検索目的で利用するケースについて個別具体の少しマニアックな話をします。
◆関連するデジタル庁の採用情報は以下のリンクをご覧ください。
◆これまでの「デジタル庁Techブログ」の記事は以下のリンクをご覧ください。
◆デジタル庁の採用に関する情報は以下のリンクをご覧ください。