Vol.3 No.1 2010

74/100

論説:“社会のための科学”と研究開発評価(大谷)−71−Synthesiology Vol.3 No.1(2010)るのは困難である場合が多い。また仮に成果がすぐ確定できる場合でも、どのような研究運営の結果そうした成果が出てくるに至ったのか、更なる改善のためにはどうしたら良いのかを知るには“分析”をする必要があるが、これもやはり時間がかかる作業である。これらのことを考えると、実は直後評価というものは、「当該プロジェクトの今後をどうするか」という“意思決定”が行われる場としては大きな意味を持つが、実態を「つまびらかにする」という内容においては、中間評価と大きな違いはないと言える。以上のように考えると、最終的な成果を“確定”し、得られた知見や教訓を“発掘”し、それを次にどう活かしていくかの“分析”をする作業は、事後評価とは別に改めて実施しなければならないことに気づかされる。こうした作業のことを、“追跡評価”と呼ぶ[3][5]。しかし追跡評価を加えても、内省評価としてまだ十分な設計になっていない。例えば、TOEICの勉強というプロジェクトを考える。ここでは、TOEICで800点以上とるという目的のために、英単語を1日100語覚える、という計画を策定したとする。この場合に理想的な内省評価とは、実際この計画を実施してみて、成果の確認を行い、改善点を探し出して、また次の計画に戻すことである。しかし、改善点を見つけ出して次の計画に反映させるといっても、何も見当がつかないままの状態でやみくもに計画を改善しようとしても効果的な見直しは期待できない。例えば1日100語覚えられなかったとしたら、それでは少し覚える単語の数を減らしてみる(再計画する)ということがまず思い浮かぶが、ではいくつに減らせば適当であるかについては、実態を把握していなければ、直感的・感覚的にしか判断できず、このままでは有効な見直しが行えない。この見直しを真に効果的なものにするには、見直しを見据えて全体の評価のあり方を当初から有機的に設計する必要がある。つまり、図4にあるように、まず何故できなかったのか、どうすれば改善できるのかを“分析”するという行為が入らないといけない。本例で言えば、1日何語くらいしか覚えられなかったのか、それは何故なのかについて考察することに相当する。更に、より深い考察のためには、勉強しない日があるとしたら何で時間を確保できなかったのか、あるいは勉強しても全然暗記の効率が上がらなかった日はどういった日でどんな状況だったのか、という点について、分析を深めていかないと、何故できなかったのかつまびらかにならない。このデータに基づいた分析や考察に当たるのが、追跡評価である。しかしこうした分析を行うには、当然データに裏付けられていないと良い分析はできない。そうしたデータは、後から思い返したのでは信頼性のあるものは得られないので、課題を実施しながら、データも同時に集めなければいけない。これがいわゆる“モニタリング”といわれるもので、中間評価で実施する重要な内容の一つである。しかしこういったモニタリングを行うためには、ではどういった項目についてモニタリングするのか、あらかじめ実行課題(この場合は英単語を100語覚えること)を実施する“前”に設定されていなければならない。即ちこれが事前評価に相当するもので、事前評価は実行課題を策定・採択するだけではなく、追跡評価ができるようにモニタリング項目を定めることも含まれるわけである。このように、効果的な見直しに結びつけるためには、事前、中間、追跡の各評価がばらばらにあるのではなく、有機的な設計と運用が必要である。4.2 ROAMEF では以上の構造を満たせば内省評価として十分かというと、更にもう一つ重要な要素が必要になってくる。先に説明したように、効果的な研究開発のためには、プログラムという仕組みが導入されていることも重要であった。そうした視点で今、図4を見てみると、これには「TOEICで800 戦略策定見直し事後検証実施段階事前評価中間評価追跡評価(直後評価)事後評価 課題採択とモニターする項目決め見直し追跡評価中間評価事前評価どれだけ出来たかデータでチェック出来なかったのは何故か?(分析)TOEICで800点以上取る今後どう見直していけば良いか?毎日の進捗具合の記録と確認?図3 研究開発のサイクルと評価の局面。図4 プログラム化の例。

※このページを正しく表示するにはFlashPlayer9以上が必要です