再現可能性に関する用語の整理①

日付

  • 2021/7/9

投稿者

  • 草薙邦広

用語の整理の必要性

　こんにちは。プロジェクトメンバーの1人，県立広島大学の草薙です。私はこのプロジェクトにおいて事務，アウトリーチ，そして分析の関係でお手伝いさせてもらっています。

　このプロジェクトの始まりはちょうど2020年の4月でした。ちょうど，新型コロナ感染症の関係で非常に大変な時期でした。しかし，始まったばかりのプロジェクトの会議で再現可能性について議論をすること自体もコロナと同じくらい大変なことでした。「再現可能性について議論する」という経験がほとんどのメンバーにとってなかったからです。しばしば，プロジェクトメンバー間においても話が噛み合わないこともあり，わたしはちょっとだけ困惑を覚えるときもありました（でも，わたしたちは議論を投げ出したりしません）。

　その理由の１つは，やっぱりことばでした。そもそも，再現可能性に関する用語が一貫していないのです。これは，様々な異なる分野で，様々な時代で，それぞれ独自の文脈で再現可能性について議論していることに由来しているのだと思います。メンバーの中でも，実に様々な種類の再現可能性が，同じ「再現可能性」という用語で語られました。

　そもそも，日本語においても，再現性と再現可能性という用語の揺れが見られます。ちなみに本プロジェクトでは後者を使っています。しかし，再現性と再現可能性は異なるものなのでしょうか？　英語でもreproducibilityという場合とreplicabilityという場合があります。これらも違うものなのでしょうか？もちろん，違うとする文献や先行研究もあります。正直いうと，よくわかりません。いずれにせよ，こういう用語の使い方が，議論を難しくさせます。

広く知られた様々な整理

　様々な分野で，再現可能性に関する議論が盛んになっています。このプロジェクトのブログにて文献紹介も計画していますが，これまで以下のような様々な整理がなされてきました。ここでは比較的最近の和文文献である国里（2020）を参考にしています。

  • 直接的追試（direct replication）と概念的追試（conceptual replication）

    • 追試（replication）において方法に変更を加えない場合が前者，変更を加える場合が後者

  • 再生可能性・再計算可能性・再解析（reanalysis）による再生性

    • 新しくデータを取り直さずに，同じデータから分析結果が得られる性質

  • 方法の再現可能性（method reproducibility）

    • 同じデータ・同じ方法によって同じ結果が得られる性質

  • 結果の再現可能性（result reproducibility）

    • 同じ方法による新規データにおいて同じ結果が得られる性質

  • 推論の再現可能性（inference reproducibility）

    • 独立した結果ないし再解析から，同じ結論が導かれる性質

　これらをまとめると，元論文と追試研究のデータと方法の同質性・異質性の組み合わせって区分されていることがわかります。（a）データが元論文と同一かどうか，（b）さらに方法が元論文と同一かどうか，という組み合わせでできる4つのパターンをしっかりと区別しないと，一口に「再現可能性」といってもうまく議論が進まないように思います。

帰属と問題点のアプローチ

　主に「追試をする」という行為から分類をしたとしても，データと方法という2つの属性によって，「4つの異なる再現可能性」がありえます。しかし，わたしたちは，外国語教育研究に関する議論を進めるために，これらに加えて，帰属（attribution）と問題点（problem）という2つの観点から整理し直すことにしました。

　つまり，帰属とは「再現ができる／できないと考えたときに，その結果の原因がなんであるか」という観点です。たとえば，同じデータを，同じ方法によって分析し，結果が再現できなかった場合，再現可能性と言われているもののの原因は，統計処理のミスなどにあります。わたしたちは，再現可能性という性質よりは，より機能主義的に，再現可能性または再現不可能性が「具体的に何に帰属しているか」に焦点を当てます。

　次に，応用分野の研究者であるわたしたちは，機能主義ないしプラグマティズムに則って，「具体的な問題点のあり方」にも着目します。つまり，再現できないというときに，「そのことの何が問題であるか」を分析しようとします。これは応用分野の視点として正当だと考えられます。たとえば，再現可能性のない論文によって提唱された指導法を教育現場において行うことは，教育効果の不明な処遇を児童・生徒・学生に与えることですから，教育上の意思決定としてはもちろん望ましくありません。このように機能または帰結に着目して，わたしたちは外国語教育研究の再現可能性についてこれから考えたいと思っています。

　…というように引き続き，このプロジェクトの会議で見えてきた方針についてブログで書きたいと思います。（続く）

文献