再現可能性に関する用語の整理②

　こんにちは。プロジェクトメンバーの1人，県立広島大学の草薙です。引き続き外国語教育研究の再現可能性に関する用語の整理について書きます。

帰属による類型

　私たちが考えた帰属による類型とは，ある具体的な研究の結果が再現できないとなったときに（再現可能性というよりはむしろ再現不可能性），その原因が何によるものか，つまり原因の帰属に注目した分類です。差し当たって議論のため，この分類によって再現可能性の多義性を解消しようとしたのです。

　私たちは必ずしも「実際，ある具体的な研究の再現不可能性に根ざす原因を特定できる」とは考えていません。むしろ，ことばに着目して，外国語教育研究者が「その原因の帰属を何であるか」と考えるかに着目します。つまり，再現可能性そのものではなくて，その認識の働きに焦点を当てようとします。この方針に沿って，以下のような再現可能性と混乱しやすい概念をピックアップします。

①斉一性：世界への帰属

　最初に，外国語教育研究者の中には「そもそも外国語教育に関する多くの現象自体に再現可能性を求めることができない」と考えている方がいます。もちろん，私たちはこの考えを尊重します。しかし，この考えの中で使用されている再現可能性，というか，再現不可能性の原因が現象自体に帰属させられていることがポイントです。再現不可能であることの原因を，方法やデータ自体などではなくて，もっといえば研究すら関係なく，私たちの対象とする現象そのものに置いています。

　このような見方は，どちらかという斉一性と呼ばれる考え方に近いかと思います。つまり，自然科学において一般的に仮定されているように，「まったく同じ条件下で同じ現象が繰り返し起こるはずだ」という仮定自体を否定しているわけです。

　この考えが適切かどうかは置いておき，私たちは議論のために，再現可能性という用語でここで斉一性と呼んでいるものを表さないようにしました。また，少なくともこのプロジェクトの中では，斉一性を仮定する態度を取ります。つまり，ある研究の結果に影響するであろうすべての要因やデータ処理などの方法がまったく等しいのであれば，元論文と等しい結果が得られるだろうと仮定します。

②一回性：統制可能性への帰属

　しばしば，斉一性と混同されていることが多いですが，斉一性を仮定した上でも，研究の結果が再現されないということはありえます。たとえば，「二度と同じ条件にはならない」という場合です。ある研究結果に影響するであろうすべての要因が等しいときに結果が再現されるとしても（斉一性があっても），そもそも現実世界ですべての要因が等しいという状況は再び実現しないという考えです。私たちはこれを一回性と呼びます。人文社会科学の中でも根強い考え方であると認識しています。確かに，同じ人間は1人もいないわけで，同じ時間も再び戻ってはきません。私たちは，研究によっては，外国語教育研究において，一回性を仮定することは十分にあり得る態度だと考えています。しかし，すべての研究が一回性の現象を対象にしているとは考えていません。

③弾力性：条件への帰属

　上記の一回性や前回紹介した概念的追試・部分的追試にも関わるのですが，外国語教育研究では既知の要因に絞っても，元論文とまったく同じ条件によって実験をすること自体が非常に困難です。その理由は，そもそも自然科学よりも対象とする現象が複雑ですし，そして心理学といった関連分野よりも実践的要因が多いからです。そうであれば，「ある程度条件が異なっても同じ結果に帰着する程度」というものが考えられます。私たちはこれを便宜的に弾力性と呼びます。しばしば一般化可能性と呼ばれている考えとも関連する概念だと考えられます。

　たとえば，オランダ語を母語とする集団を対象にして得られた結果が，日本語を母語とする集団よって再現された場合，この研究は弾力性があると考えられます。一方，完全に等しい（直接的追試）でなければ再現されないのであれば，弾力性がないわけです。外国語教育研究では，母語，年齢，対象言語，教師，カリキュラム…ありとあらゆる要因の存在が考えられます。ここで私たちは，「母語に対して弾力性がある知見」であるとか「年齢に対して弾力性がある知見」というように捉えます。議論の中では「弾力性としての再現可能性」などと表現します。

　このプロジェクトの主な関心・ねらいの1つは，上記の2点というよりはこの弾力性としての再現可能性を検証することです。そして私たちはより弾力性が高い知見が必要だと信じています。

④未詳：方法の周知への帰属

　論文内で報告されている方法の記述が不十分であったり，共有が不可能であることによって再現ができたり，できなかったりする状況を考えてみます。極端な例では，そもそもどのような方法でデータを取ったかわからない場合，その研究はそもそも再現不可能です。このような状況を私たちは未詳と呼ぶことにしました。方法そのものではなく，方法の共有に注目するわけです。

　残念ながら，未詳によって再現可能性がない論文は外国語教育研究において非常に多いと見積もっています。

⑤過失：方法の遂行への帰属

　主に再分析による再生性に関連しますが，研究者による観察のミスや統計処理のミスなどによって，再現不可能な状況はありえます。私たちはこれを過失と呼びます。ただし，過失は，それが明確でない限り研究者の悪意やいかなる属人性にも帰さられるべきでないように考えます。

　本プロジェクトはもちろん，いかなる研究者も攻撃の対象にすることを目的としていません。

⑥実証的再現可能性：結果への帰属

　これは実際に，過去に追試によって再現ができたか，できなかったかを表します。上記の帰属がどうであれ，結果として再現されたものは，結果がそうであるということによって再現可能だと判断されるでしょう。私たちは実証的再現可能性として他とこの性質を区別します。

⑦実践的再現可能性：実験環境への帰属

　この意味での再現可能性は，外国語教育研究者の関心が多いものだと考えられます。たとえば，ある論文で実証的な方法によって提案された処遇などが，実際の教育現場において期待される効果を示さないとき，しばしば「それは実験環境だけの話である」というように解釈されます。このとき，結果が再現されないことは，実験環境vs.現場，または研究 vs. 教育実践というような二項対立に帰属させられます。理論と実践の乖離などともいわれますね。再現（不）可能性はこの二項対立に帰されることがよくあります。

　多くの外国語教育に関係する方は，再現可能性という用語を聞くとこの性質について考えると認識しています。本プロジェクトは直接的にこの性質にアプローチすることはできませんが，高い関心をもって研究を遂行しています。

効率的な議論のために

　このように，「再現可能だ」，または「再現不可能だ」などと議論するとき，その再現可能性ということばの背景にある認識的な帰属に着目することで，より再現可能性の議論が効率的になると考えています。

　「外国語教育研究では再現可能性を求めることができない」といったとき，これは得てして斉一性や一回性の話です。一方で，「おそらく外国語教育研究は再現可能性が低い」といったとき，これは主に未詳や過失について述べています。また，欧米の研究にて得られた知見のローカライズに努めてきた国内の外国語教育研究では，この文脈で「再現可能でなかった」といえば主に弾力性や実証的再現可能性のことを示しています。理論と実践の乖離などというときは，実験環境で得られた知見の教室における再現可能性を示しています。どれも似たような再現可能性に関する概念であっても，まったく異なるものですよね。

　まずは最初の手順として，外国語教育研究における再現可能性について考える前に上記のような整理が必要かと考えます。　

（続きます）