PartⅡ: A Systematic Approach to Classroom-based Assessment

PartⅡでは教室現場に基づいた実践的な評価における「開発」と「使用」に焦点を当てて、その枠組みについて述べる。3章では、2章で述べられた評価の過程と関連したAssessment Use Argument (AUA) を概観する。3〜7章では、テスト開発と使用における概念的枠組みについて述べているAUAについて述べる。

3章. Overview of our approach to assessment development

Assessment Use Argument…テスト開発とテスト使用についての概念的枠組み。評価する生徒のパフォーマンス・能力とテストによって測定される項目の間の関係についてのclaimで構成される。

Claim…テスト開発者・テスト使用者が、①テストの使用意図、②テストが何を測定しているのか、③テスト使用法について特定化するもの。

例：このテストを使用することで、どのような結果が出るのか (consequences)

このテストを使用することで、教師は何を決定するべきか (decisions)

このテストを使用することで、どのような解釈が得られるのか (interpretation)

このテストを使用することで、どのような記録が得られるのか (records)

テストを開発する際に辿る流れは、テストを使用する際に辿る流れの逆になる(p. 20のFigure 2.3とp.32のFigure 3.2を参照)。この章では、テストの平等性と説明可能性について述べる。

Fairness and accountability

Fairness (平等性)…テストにおける生徒のパフォーマンスと、それを解釈する教師の関係が結びついているかどうか。例えば、実際にはよくできたテストに対し、低い成績がつけられた際には平等性が低いと言える。

Accountability (説明可能性)…テスト受験者に対し、テスト評価者が意図して測定している項目について説明することができるかどうか。例えば、生徒ごとにテスト方法が異なれば、平等性が低く、説明可能性も低い。

テストの開発・使用は “consequences” の部分から開始する必要がある。

Assessment justification

教室内におけるテスト使用 (テスト結果の解釈や今後それを指導にどのように活かすかといった意思決定) はstakeholderのテスト結果に基づいている。

stakeholder…テストに関係し、そのテストによって影響 (stake) を受ける人や組織。教師自身・テスト開発者・テスト使用者・テスト受験者・同僚の教師・学校理事・保護者・その他 (政府や一般大衆など) を含む。

テストを開発する際には、テスト使用が正当であるかどうかを確認しなければならない。

Assessment justification (テストの正当化)…テスト開発者・テスト使用者である教師が、意図されたテスト使用がどの程度正当であるかを証明するために従う過程。次の2つの活動と相互に関係を持つ。①AUAについて述べること、②AUAを支持する証拠を提供すること。つまり、受験者のパフォーマンスとテストされている能力が一致しているかどうかという妥当性が高いと、テストが正当であると言える。

Specifying an assessment use argument (AUA)

AUAはconsequence / decision / interpretation / assessment recordの4つに関するclaimsで構成されている。これらはテスト開発者・使用者から意図されたoutcome (結果) と1つ以上のqualities (質) で成り立つ。

Claim 1: Intended consequences are

・beneficial

↓

Claim 2: Intended decisions are

・values sensitive

・equitable

↓

Claim 3: Intended interpretations are

・relevant

・sufficient

・meaningful

・generalizable

・impartial

↓

Claim 4: Intended assessment records are

・consistent

↓

Student’s performance

Assessment task

Figure 3.1において、イタリック体で示されているものが結果であり、箇条書きで示されているものが質である。テスト開発の段階は、測定する生徒の能力 (結果) から始まり、教師の今後の指導などに関する決定、生徒のパフォーマンスについての解釈、そしてテストの成績の順に開発される (pp.20–23の図と逆の矢印になっていることに注意)。

なお、AUAにおける結果と質については4〜7章で詳しく説明される。

Figure 3.1 Claims, outcomes, and qualities in an AUA (adapted from Bachman and Palmer, Language Assessment in Practice, Oxford University Press, p. 104)

2章においては、テスト使用の際には「生徒のパフォーマンス」に始まり、そこから成績・その解釈・意思決定・結果に結びつける方法が取られた。一方、テスト開発の際にはテストの正当化を図るために、これと同じ結びつきを逆から利用する必要がある。

AUAにおけるclaimはテストを開発・使用する上で平等性や説明可能性があるが、それを支持するbacking (証拠) が必要となる。

backing…テスト開発者・テスト使用者がAUAにおけるclaimsを支持するために必要となる証拠。backingには2種類が存在する。①テスト開発・使用中に用いる手順によって得られるもの (8〜12章で扱う)、②AUAのclaimsを支持する目的で、規則集などからテスト開発・使用に用いられるもの。両者はテスト開発・使用の別のタイミングで用いられ、high-stakeなテストでより重視される。詳しくは4〜7章で論じられる。

Figure 3.2 AUA for the links between intended consequences and assessment performance (adapted from Bachman & Palmer, Language Assessment in Practice, Oxford University Press, p.91)

Activity 3.1 以下の文章を読み、Figure 3.3に関連した情報を入れよ。

生徒が進級する際、進級するに値する学力を有しているかを確かめるテストを実施したい。具体的には、現在の過程を終了するにあたり、リスニングのマテリアルを用いて生徒の学習を解釈したい。ある教師はパッセージを聞き、リストから正しい答えを選択するテストを開発し、生徒のスコアは正当の数になるように設定した。

② Have you ever felt that an assessment you have taken was not “fair”? What made you feel this way? In order not to make student feel unfair,

Claim1	テストを実施する結果、何が得られるのか。
Claim2	テストを実施する結果、指導に関する意思決定にどのような示唆が得られるのか。
Claim3	テストを実施する結果、意思決定をするにあたり必要となる生徒の言語能力のどのような情報が得られるのか。
Claim4	テストを実施する結果、生徒の言語能力に関する情報をどのような生徒のパフォーマンスから得るのか。