« 2008年8月 | トップページ | 2008年10月 »

2008年9月

満点

午前のセッションできっかけを得て、また極端な事を書きます。

どうしてテストのスコアの絶対値に意味を持たせないのか?
もっと言えば、なぜ満点だけを通過させないのか?

はなはだ疑問です。

学校では、大多数の生徒は満点を取れず、それでも卒業していきます。
では、あの正解できなかった問題はいったい何だったの?
それはやらなくてもよかったこと?それなのにやらされたの?
いやいや、ちゃんとこの学校の学生が身につけるべき内容の1つなのよ。じゃあどうしてそれができないのに卒業できたの?

学校のサービス内容としては、予め定めた内容の何割かが身につけばOK、卒業、となっているの?
それなら、この学校ではいったい何割に定めているの?
みんなこぞって卒業していくところを見ると、かなり低いんでしょうね、卒業基準。
それは学生募集要項の中で公表すべきじゃないの?

大人の事情の例です。

| | コメント (0) | トラックバック (0)

調査方法分類

きっかけをいただいたので、調査方法の分類について私の日頃の持論を書いてみる。

以下に示すのは、刺激を提示し、反応を得る、というタイプの調査(research)に限定している。受動観察などの方法は枠から外れているので注意。

分類次元が9つある。

1. 刺激集合:参加者に提示されうる刺激が有限集合(限られている)か無限集合(限定がない)か
 有限/無限
2. 刺激選択:参加者に提示される刺激の決定が、参加者の以前の反応に依存するかしないか
 依存/非依存
3. 刺激順序:刺激の提示順序が参加者によらず一定であるか、ランダムに決定されるか
 固定/ランダム
4. 刺激内容:刺激は印刷された文章であるか、それ以外も用いることができるか
 文書/マルチメディア ※ここでは「マルチメディア」を文書以外という意味で用いる
5. フロー制御(時間制御):各刺激と反応の組(試行)の系列において、その進行、特に時間を、研究者側で制御できるか
 不可能/可能
6. 反応:参加者の反応はコード(選択肢の選択、予め決められた特定の行動、など)であるか、言語等による自由反応も可能か
 コード/オープン
7. 欠損制御:反応の欠損を研究者が制御(例えば欠損を無くすよう促す)できるか
 不可能/可能
8. モニタリング:反応の様子を研究者が観察できるか
 不可能/可能
9. サンプル選択:参加者の選定において研究者がある程度の枠を定めるか、完全に自由参加か
 フレーム/フリー

これらの次元は全部クロスすると思っていただいてよい。
各次元の水準をもっと細かくすることは可能であるが、ここでの話題において最低限必要な程度の荒いレベルに留めている。

この分類にあてはめると、よく行われる○○調査は、典型的には以下のようなものだということが分かる。

質問紙調査:
刺激有限×非依存選択×順序固定×文書×フロー制御不可×反応コード×欠損制御不可×モニタリング不可×参加者フレーム

構造化面接調査:
刺激有限×依存選択×順序固定×マルチメディア×フロー制御可×反応オープン×欠損制御可×モニタリング可×参加者フレーム

非構造化面接調査:
刺激無限×依存選択×順序ランダム×マルチメディア×フロー制御可×反応オープン×欠損制御可×モニタリング可×参加者フレーム

実験室実験:
刺激有限×非依存選択×順序ランダム×マルチメディア×フロー制御可×反応コード×欠損制御可×モニタリング不可×参加者フレーム

インターネット調査:
刺激有限×非依存選択×順序固定×文書×フロー制御不可×反応コード×欠損制御可×モニタリング不可×参加者フリー

ここに挙げたのは、典型的には、である。こう示すことで、各手法においてどこに変更(改善)の余地があるかがわかってくる。しばしば行われる変更は以下の通り。

質問紙調査:
・刺激選択は依存させることもある(分岐質問)
・回答者ごとに刺激順序(質問順序)をランダマイズすることもある
・調査者が監督することによって、フロー制御、欠損制御、モニタリングを可能にすることもある(ほとんど筆記式実験とも言えるが)
・反応をオープンでとる(自由記述)こともよくある
・参加者フリーにする(自由配布、公共施設据え置きなど)こともある
よって、質問紙調査という方法にて限定されているのは(質問紙調査が厳密に意味するのは)、刺激有限、刺激が文書、だけである。非常に幅の広い応用ができることがわかる。

構造化面接調査:
・刺激選択を非依存にすることもできる
・刺激順序をランダマイズすることもある(あるいは半構造化)
・マルチメディアが可能だが一般に使われるのは聴覚の音声入力だけ。文書を併用することもできる。
・フロー制御可、欠損制御可だが、面接の対象・方針によっては、これらができないこともある。
・反応をコードでとることもよくある。
・参加者フリーにすることも可能である(相談所への自由来訪等)
よって、構造化面接という方法にて限定されているのは、刺激有限、マルチメディア、必ずモニタリング、だけである。質問紙調査との違いが少ないことがわかる。

非構造化面接調査:
・刺激順序を固定にすることも可能ではあるが、実際は行われない。上ではランダムとなっているが既知の確率分布に従うわけではなく、「面接官の恣意」の意である。
構造化面接と違うところは刺激無限と恣意順序である。よって、質問紙調査との違いは、刺激無限、恣意順序、マルチメディア、必ずモニタリング、である。

実験室実験:
・刺激を無限にすることもできる(自動的刺激生成)
・刺激選択を依存にすることはしばしば行われる
・刺激順序を固定にすることもできる
・文書で刺激を提示することもできる
・内容によっては、フロー制御、欠損制御ができないときもある(時間制限のできない課題等)
・反応をオープンでとることもときどき行われる(発話録音等)
・内容によっては、モニタリングは可能である(常時ビデオ撮影等)。
・参加者をフリーにすることは不可能とはいわないが難しい
よって、実験室実験という方法にて限定されているのは、参加者フレーム、のみである。ただ、これもフリーが不可ではないので、厳密には限定次元は無い。だから「実験室実験」はこれらの次元に関してほとんど何も意味しない:-P
しかし、現実には、ここでは取り上げられてない次元、たとえばコストの問題がある。
そして、同じくここでは取り上げられていない次元である、環境要因の統制、という強力な利点がある。

インターネット調査:
・刺激を無限にすることもできる(自動的刺激生成)
・刺激選択を依存にすることはしばしば行われる
・刺激順序をランダマイズすることはしばしば行われる
・刺激をマルチメディアにすることは現在の技術で十分可能である
・フロー制御を行うことは現在の技術である程度可能である
・反応をオープンでとることもしばしば行われる(自由記述入力)
・欠損制御を行っていない(行えない)調査もある
・モニタリングは現在の技術である程度行うことができる(ウェブカメラ等)
・参加者を特定のフレームに限定することもできる
このように、インターネット調査も、厳密には限定次元はない。つまり、なんでもできる。その点は実験室実験と同じである。しかし、刺激自動生成、画像以外のマルチメディア、フロー制御、モニタリングなどは、現在のところ技術的に高度なものを要求する。
よって、そのような技術力のない場合の汎用インターネット調査は、刺激有限、刺激は文書と画像、フロー制御なし、モニタリングなし、の調査である。
実験室実験の持つ、環境要因の統制、という利点はない。しかし、コストの次元では非常に利点がある。

その他の用語について補足とまとめ。

いわゆるcomputer-based 調査の強みは、刺激無限、依存選択、ランダム順序、フロー制御、欠損制御、である。とくに、依存選択はcomputer-adaptive などと呼ばれる。また、これらを行うことができる他の方法よりもcomputer-basedのほうが厳密性が高いので(フロー制御、欠損制御、刺激自動生成など)、可能なときはいつでもこの方法を使用するのがよいだろう。

「インターネット調査は~~だからダメだ」という批判は、それが実際に運用されている個別のインターネット調査を批判しているのでなく一般を批判しているとすれば、まったく的外れである可能性が高い。(今回の学会のシンポもそうだが。)
例えば、インターネット調査は参加者フリー(自主参加)であることが多いが、それは研究者がそれを選んで行っているのであって、フレームを限定してこのツールを使うことはまったく容易に可能である。
同様に、「実験室実験だから~~」という批判は、それが実験室実験一般を対象としているなら、これらの次元に関してはおそらく何も批判していない。 :-P

また、質問紙調査でも欠損制御などがあわせて可能であるが、反応を欠損させずに強制するのは、倫理的に問題が生じる場合がしばしばある。もちろんこれは、質問紙調査に限らず、実験室実験などのその他すべての方法についても同様である。この稿では方法論的、技術的な側面からしか分析しないのでこの問題は範疇外になっているが、実際には、たとえ容易かつ頻繁に欠損制御が行われている実験室実験でも、この点が検討されなければならない。

非構造化面接は、何かと例外的である。刺激の無限性も、その生成はcomputerによる自動生成とは違って、生成ルールを明示化できないことが多い。順序の決定ルールも同様である。刺激やその順序に多様性を維持できるのはよいのだが(そして非構造化面接を行う人はこの点をウリにすることが多いのだが)、ルールが明示化されないのが問題である。それが再現性が低まることにつながるのである。逆に、これが明示化されるなら、そのような面接が他の調査法に比べて別段悪いところはなくなる。(しかしそうなったら構造化面接と呼ぶのかなぁ?)

自分で調査方法を検討するときは、上記の各次元をそれぞれ吟味するとよいだろう。おそらく改善点が1つ2つ見つかる。まあ実際にはここで扱っていない「コスト」および「妥当性への脅威」が方法決定への影響力の高い検討次元として絡んでくるだろうが。

上記を表にしようと思ったが、ここのシステムの関係上きれいに作れないので、やめた。自分で作ってみてください。

| | コメント (0) | トラックバック (0)

確信度を答える

久々の学会レポ。
しかし今年は業務上。
いつもの学会とはひと味もふた味も違う。


確信度を回答させることについて。
特に、学校でのテストにおいて確信度回答式にすることについて。

非常に興味深いと思った。
私もいちconfidence研究者として、まだまだ手法の詰めは必要だと思うが、通常のテストの手法よりも認知的状態を詳細に調べることができる。スコアのアサインも矛盾なくできると思われる。

しかし、だ。学校で行われるテストはそのようなものでよいのか?という問題がある(これは心理学のための方法論とは別種の問題だ)。
つまり、教員側は、学生に対して、どのような認知状態にあることを望んでいるのか(目標としているのか)ということだ。「私は80%この選択肢が正解だと思う」というのは、教員の目的にかなっているのか?99%の確信を持ってほしいのではないのか?
あるいは、何%の確信状態であることが「能力の獲得」であるのか?
この辺をきちんと定めないと、テスト作成においても、またそれによって評価されることになるカリキュラム作成においても、困ったことになる。
要件としては、「○○を身につけている」ならば「この問題ではこの回答に△△程度の確信を持つ」そうでなければ「確信は□□程度になる」、ということが判明していればよい。

もちろん、この問題は、テスト手法にこういう確信度回答式を使うかどうかに関係なく、一般に議論しなければならない問題である。だって実際に、テストに回答する生徒は、そのような自信のない状態で○をつけているのだから。

| | コメント (0) | トラックバック (0)

« 2008年8月 | トップページ | 2008年10月 »