「成果」とは一体何なのか？国立大学に対する成果評価への期待と不安

質保証、点検・評価

　気がつけば3ヶ月近くご無沙汰していました。年度末の状況が引き続き世紀末レベルに達しています。とは言いつつも、書くトレーニングも進めたいところですので、こちらも少しづつ進めていきます。

　さて、4月に「第3期中期目標期間における国立大学法人運営費交付金の在り方について（中間まとめ）」が公表されました。本件については、弊BLOGでも素案の段階から追いかけてきたところです（国立大学の予算配分に反映する評価等（素案）に思う 〜どのような指標が示されているのか〜）。

　中間まとめの内容を見ると、国立大学が取組構想及び測定可能な評価指標(KPI)等を国に提案し、国が支援する取組を選定するようですね。また、年度ごとに取組構想の進捗状況を確認するとともに、評価指標を用いて向上度を評価し予算に反映させるようです。

　原則として、年度ごと（取組構想等の内容により一部複数年ごと）に、有識者の意見を踏まえつつ取組構想の進捗の状況を確認するとともに、あらかじめ設定した評価指標等を用いて、取組によりどの程度向上したのか、その向上の度合いに応じて、例えば３～５程度の段階で評価を実施し、その結果を踏まえて次年度の予算配分における重点支援部分に反映させる。(P12)

　国立大学法人には平成28年度概算要求事項の照会が来るはずですので、その中で取組構想を示すことになるのでしょう。なお、「高等教育に関する政策課題のうち国立大学に共通する課題等に関する重点支援」についても、概ね同様であると理解しています。

　あまり話題にはなっていませんが、この評価枠組みは今までの大学評価とは少し異なるものだと感じています。認証評価等いままでの大学評価は、各大学の質保証・質向上を促すものでした。しかし、今回のように指標とともに取組の進捗を評価するということは、より直接的に税金投入の効率性を問われており、従来よりも政策評価に近いものだという印象です。

　わが国では政策評価とは、

　政策の効果等に関し、科学的な知見を活用しつつ合理的な手法により測定又は分析し、一定の尺度に照らして客観的な判断を行うことにより、政策の企画立案やそれに基づく実施を的確に行うことに資する情報を提供するものであり、その結果を政策に適切に反映させ、政策に不断の見直しや改善を加え、もって、効率的で質の高い行政及び成果重視の行政を推進するとともに、国民に対する行政の説明責任(アカウンタビリティ)を徹底するものと位置付けられ（政策評価に関する基本方針）

と定められており、各府省庁や都道府県・市町村でも行われています。総務省が府省庁横断的に対応しており、その情報はポータルサイトで確認できます。

　「行政評価」の時代―経営と顧客の視点からでは、政策評価について、

　まず住民を顧客と見立てて、顧客の行政への期待効果を具体項目にリストアップする。そして、それぞれの項目について現状分析したうえで、今後目指すべき数値目標を設定する。目標の達成度を毎期ごとにチェックし、その結果を公開し、官民双方が進捗状況を監視していく。(P3)

とあり、その効果について、

  1. 外部への情報開示による改革の機運作り
  2. 首長と議会に行政を監視する材料を与える
  3. 行政官に改善への自助努力のインセンティブを与える(P7)

が挙げられています。

　これらから、行政評価とは単純に事業の実施状況を判定するのみではなく、事業実施の視点や枠組みそのものを変革するものであると考えられていると想像できます。一方、同書では政策評価には”本物”と”偽物”があるとし、それぞれを以下のように記しています。

　本物の行政評価とは、行政機関の外の人びとが主体となって評価するものである。(略)住民にとっての便益の度合いで評価していく。これが”本物”の行政評価である。これに使う指標を「アウトカム指標」という。この考え方の背景には、「手続き主義から成果主義へ」という行政原理の大転換がある。
　一方、”偽物”の行政評価は、行政機関が内部のお手盛りで自分のやっている施策を自己点検し、評価と名付けるものである。(略)指標項目そのものが行政のやったことの羅列になりがちである。ここで使う指標も「アウトプット指標」になりがちで、これは本当の行政評価とは言えない。(P8)

　ここでアウトプットとアウトカムという言葉が出てきましたが、それぞれ結果と成果と考えても良いと思います。同書で”本物”の行政評価とされているように、国立大学法人の取組もアウトカム指標による成果の状況により評価されることになるのでしょうか。そもそも、少し前から大学業界でもよく聞かれる「成果」とは一体どのような概念なのでしょうか。前置きがだいぶ長くなりましたが、今回は「成果とは一体なんなのか？」ということを考えてみます。

　成果の意味は文脈により変化するため、「成果とは何か」という問に答えをだすのはなかなか難しいと感じています。例えば、簡単にweb検索してみても、以下の結果が表示されます。

あることをして得られたよい結果。「研究の—」「—をあげる」 

成果(セイカ)とは - コトバンク

成果とは、組織が組織の目的・使命に基づいて、組織の外で実現すべきよいことです。

http://www3.keizaireport.com/file/manage12.pdf

　私は、昨今の大学関係の文脈で言われる「成果」とは「取組の結果を受け取った者に生じた変化」と整理できることが多いのではないかと思っています。例えば、学修成果とは大学が行った教育活動を受け取った学生に生じた変化（どのような能力がどの程度修得できたか。）ということですし、入試広報活動の成果とは大学が行ったオープンキャンパスや説明会等に出席した生徒の変化（その大学に志願するか。）ということです。

　「文部科学省における研究及び開発に関する評価指針」では、結果（アウトプット）と成果（アウトカム）について、以下のとおり整理されています。

【アウトプット】
　研究開発活動の成果物。例えば、投稿された学術論文、特許出願された発明、提出された規格原案、作成された設計図、開発されたプロトタイプなど。

【アウトカム】
　研究開発活動自体やその成果物（アウトプット）によって、その受け手に、研究開発活動実施者が意図する範囲でもたらされる効果・効用。科学コミュニティに生じる価値の内容（これらの指標として、目標等に応じて、例えば、論文の被引用数、テニュアポストを獲得した研究者の割合等が挙げられる）、製品やサービスなどに係る社会・経済的に生み出される価値の内容（これらの指標として、目標等に応じて、例えば、新製品・サービスに基づく売上高、特許実施料収入、規格の標準化、第三者によるプロトタイプの利用等が挙げられる）などがある。

　ここでも、アウトカムはアウトプットの受け手に生じる効果・効用であるとされています。

　誰を送り手とするか受け手にするか、つまりどのような構造の中で結果と成果を考えるかによって、それが結果であるか成果であるかは変化してきます。自分の中でも厳密に定義できているわけではありませんが、なんとなく成果ってこんなもんかなと考えています。

　このように「成果とは取組の結果を受け取った者に生じた変化である」と考えると、成果にはふたつの性質があることに気がつきます。

　まずは、成果には受け手が必要だということです。逆に言えば、取組を行う場合に、それを誰に届けるのか、ターゲット設定が必要だということですね。「学生のために」とよく言いますが、その学生は何学部の何年生なのでしょうか？自宅生ですか下宿生ですか？どのような入試形態で入学してきましたか？サークル活動はやっていますか？「地域社会のために」とよく言いますが、その地域社会とは立地都道府県ですか？対象となる市や町はどこですか？どのような社会階層を想定しているのですか？このように概念的な言葉を以てターゲットとするのではなく、ある程度顔が見える集団として属性や行動特性を想定する必要があると考えます。

　これらターゲットの設定とそこに生じる変化を想定することで、成果指標の設定が可能になるのでしょう。取組を受け取る者が明確でないと、効果検証・成果指標測定をする際に、適切に効果測定が行えません。全学生に対する悉皆調査を行うことも可能ですが、毎度毎度コストをかけるわけにはいきませんね。このような視点で見ると、大学の取組では、何のためにやるかという目的が書かれていても（書いていない場合もありますが。。。）、誰のためにやるかという合理的なターゲット設定は意外と明記されていないことが多いなと感じています。

　次に、成果とは受け手の変化であり、取組の実施者が直接手を加えることができないということです。例えば、学生の脳に電極を指して電気的または磁気的に能力を向上させることや卒業後強制的に大学の周りに住まわせることはできませんよね。取組の実施者ができるのはあくまで学生の能力向上や卒業後の地域定着を促すことのみであり、基本的には受け手の変化を直接決定づけることはできません（変化量に影響を与えることはできると思いますが。。。）。これって、けっこうやっかいな性質だなと思います。

　と言うのも、どれだけ頑張って取組を実施しても受け手に変化が生じない、つまり成果が上がらないことがあるからです。例えるなら、どれだけ頑張って営業しても売り上げが上がらないのと同じですね。このような場合まず生じると推測できるのが、自己効力感の低下による取組者のモチベーション低下です。それを防ぐためには皆が本当に大切だと考えることを成果あるいは成果指標として設定する必要があるのですが、大学の中でこのようなコンセンサスを作り上げていくことがどれほど困難か、これを読まれている大学の中の方はよくご存じだと思います。私も常々実感しているところです。

　学修成果という言葉が認証評価基準に含まれるようになってしばらく経ちますが、ここで示したような「成果の概念」というのはまだまだ広まっていないのではないかと思っています。もしかしたら、自分たちの取組が誰にどのような影響を与えているのかということを考えたことのある大学人は、あまり多くないのかもしれません。仮に突然成果指標を導入したとしても、前述のとおり取組実施の多寡と成果は必ずしも比例するとは限らないため、学内に不満の種を生む結果になることも想像できます。自分が行っている取組は誰の何に貢献するものなのか、このような考えを学内に少しずつ広めていくしかありませんね。私自身も、自分の職務範囲において、この「成果の概念」を取り入れた取組を行い始めたところです。

　翻って、国立大学法人の評価において、このような成果指標を取り入れた政策評価が行われるのでしょうか。現在示されている評価指標例は成果型指標のみではなく結果型指標もあること、評価指標は各国立大学法人が定めることから、恐らくすぐにこのような「成果の概念」による政策評価が行われることはないでしょう。

　個人的には少し残念な思いがあります。地域活性化に携わられているエリア・イノベーション・アライアンス代表理事の木下斉さんは、成果指標の設定について、以下のとおり発言されています。

　地域活性化や行政に関するニュアンスであるという前提はありますが、KPIやPDCAは実施者が決めるものではないということは今回お話しした「成果の概念」と通じるものがあると感じています。「受け手志向の大学」に向けて、今回の運営費交付金配分評価がどのように活かせるのか、特に勤務校においてどのような評価指標を設定するのか、今後の動きを注視していきます。