2022年開催イベント

外国語教育研究の
再現可能性2022

テーマ：「再現可能な外国語教育研究のために」

本イベントは9月22日に終了いたしました。およそ100名弱の方に参加いただきました。当日ご参加頂いた方，まことにありがとうございました。なお，発表の一部録画を，参加申し込み者の方へご案内させていただきます。

  • わたしたちの研究プロジェクトでは，昨年度のシンポジウムの議論を継承しながらも，目指すべき次のステップの1つとして，より具体的に再現可能性を高める研究方法論について検討をはじめます

  • 今回のイベントでは，岡田謙介先生（東京大学）をお招きし，心理学における再現可能性の議論の後に注目を浴びることとなったベイズ統計的分析についてご講演いただきます

  • 加えて，自由研究発表の枠を前年度より拡充し，外国語教育研究の再現可能性をより幅広い視座から考えるためのオープンな場を作りたいと思います

開催情報

  • 日時　2022年9月20日　13:00～17:15

  • 申込　前日17時までに，お申込みください。Zoom ミーティングルームの情報をお送りします。

  • 担当者

    • 実行責任者：鬼田崇作（同志社大学）

    • 開催本部：石井雄隆研究室（千葉大学）内

    • 事務局：山内優佳（広島大学）

全体プログラム


講演

  • 演題　再現性の危機はなぜベイズ統計的データ分析法への注目を高めたのか

  • 講師　岡田 謙介 （東京大学）

  • 概要　再現性の危機を克服するため，オープンデータ，オープンマテリアル，事前登録に代表されるオープンサイエンスが進展してきている。こうした仕組みは，研究の透明性を高め，研究報告の質を向上させる上で，完全ではないとしても効果的な方法である。一方，再現性の危機を招いた要因としてp-hackingが注目されたことは，従来依拠されてきた，帰無仮説検定を柱とする頻度論的なデータ分析法を顧みる契機となった。その中で，オルタナティヴな体系としてベイズ統計の自然さや使いやすさに耳目が集まり，実際にベイズ統計的データ分析が利用される機会が増えている。ベイズ統計は，オープンサイエンスの各種方法のように直接的に研究の透明性を高め，再現性を向上させるものではない。しかし，なぜ・どのようにしてデータ分析を行うのか，といった根底的な問いを考え直す機会と選択肢が研究者に与えられたことは，データ分析結果の頑健性を高める上で有意義と考えられる。また，ベイズファクターを用いたベイズ的な仮説検定には，比較される2モデルを等価に扱うこと，任意停止の問題が生じないことのように，従来一般的であった方法にはない特長もある。本講演では，こうした観点から再現性の危機とベイズ統計をとりまく研究の動向を整理した上で，外国語教育研究に特徴的な問題や，これからの研究の方向性などについて議論を行いたい。

自由研究発表・要旨

  • 持ち時間：20分（発表15分，質疑応答5分）

  • 15:10-15:30　「国内の外国語教育研究におけるベイズ統計の普及過程」　草薙邦広（県立広島大学）
    国内の外国語教育研究者がベイズ統計の利用に注目し始めたのは2010年代前半のことであるが，現在に至り，主要な関連学会の多くはベイズ統計に関するセミナー・WSをこれまでに企画し，外国語教育研究者向けの概説的書籍も刊行され，ベイズ因子やマルコフ連鎖モンテカルロ法によるベイズ統計モデリングを使用した実証研究が増加しつつある状況である。本発表では，およそ10年間に亘る軌跡を一研究者のナラティヴとして共有したい。

  • 15:30-15:50　「外国語教育研究における分析の再生可能性を高めるために」　水本篤（関西大学）
    量的外国語教育研究の再現可能性を高めるためには，そもそもの一次研究における分析が第三者によって再現できなければならない。本発表ではそのような分析の再生可能性（computational reproducibility）に焦点をあてて，これまでの研究論文における問題点を指摘し，近年，オープンサイエンスへの志向が高まりつつある外国語教育研究分野において，どのような取り組みが推奨されているかを報告する。

  • 15:50-16:10　「外国語学習支援システムの評価と再現性」　江原遥（東京学芸大学）
    発表者は外国語学習支援システム，特に第二言語の語彙獲得に関する研究に従事してきた。本研究では，発表者の最近の研究成果をもとに，外国語教育と外国語学習支援の再現性を含む評価方法の違いに焦点を当て，説明する。具体的には，可読性判定における順位相関の重要性（Ehara, Eval4NLP2021）や，単なる判定ではなく確率分布を予測することの意義・重要性（Ehara, ICMLA2019他）等について説明する。

  • 16:10-16:30　「Savage-Dickey法によるnull effectの評価：視覚的単語認知を例に」　鬼田崇作（同志社大学）
    伝統的な視覚的単語認知の研究では，t検定や分散分析などの検定を用いて，実験条件間の平均値の差を検定してきた。これらの手法では，条件間に差がない（null effect）という帰無仮説を立て，それを棄却することより対立仮説を採択するという手続きの性格上，一般的に帰無仮説の積極的な採択は難しいとされる。しかし，理論的に実験条件間に差がないというnull effectを評価したい場合もありうる。本発表では，現在の心理言語学的研究でしばしば使用される混合効果モデルを用いて，null effectを評価する例を紹介する。

  • 16:30-16:50　「再現可能性を志向する研究と志向しない研究は等価値」　猫田英伸（島根大学）
    自然科学的なアプローチと親和性が高い物理学，生物学などの分野においても要素還元的な研究手法の限界が意識され始めてからすでに久しい（井庭・福原, 1998）。一連の議論は「分析の知」と相並ぶものとして「記述の知」「臨床の知」「複雑系の知」を挙げ，知の多様性に言及している（井関, 1998）。本発表では，英語教育関係者の中でも，多様な知のあり方を前提とする「知の多元主義」という思想の共有を目指すことを提案する。