Schutz, M., & Kubovy, M. (2009). Causality and cross-modal integration. Journal of Experimental Psychology. Human Perception and Performance, 35(6), 1791–810. doi:10.1037/a0016455

  • 以下、Introductionにあたるpp.1791-1793のまとめ
  • 感覚統合の文献に関するreviewとして読める。
  • 本編では、視聴覚の感覚統合が感覚間のcausality(因果性)によって強化されることを確認しています。

議論を呼んだ新しい視聴覚統合に関する現象(2007, Schutz andLipscmb)

どのような事象か?

  • 同一の持続時間を持つマリンバの音が、マリンバを叩く異なる種類のジェスチャ(long gesture and short gesture)を記録した映像を視覚的に付加することで、実際よりも長く聞こえたり短く聞こえたりする。

なぜ、議論を呼ぶのか?

  • 時間に関するタスクにおいては、聴覚的情報が視覚的情報よりも強いという一般的見地から外れるため。

視聴覚統合に関する一般的見地についての整理

"optimal integration hypothesis"

  • Intermodal conflicts are resolved by giving more weight to the modality providing the more reliable information(Alais & BUrr, 2004; Ernst & Banks, 2002)
    • 感覚間の矛盾は、信頼性の高い情報に強い重み付けが与えられることで解決される。
  • 従って、視聴覚統合に際しては、空間的精度の高い視覚は、空間的矛盾において支配的に参照される。同様に、時間的精度の高い聴覚は、時間的矛盾において支配的となる。
  • 不規則に発音する音列と光のフリッカーを組み合わせると、通常時では、光の影響力は無いが、音質を下げていくと、フリッカーの影響が有意となる(Wada, Kitagawa, and Noguchi, 2003)。
  • optimal integration hypothesisは、視聴覚に関わらず、多くの感覚間で成立する(Ernst & Banks, 2002)

視角優位の例(空間タスク)

  • 腹話術効果(ventriloquism effect)もOIHの結果である(あたかも、発話が、人形の口元から発せられているように感じられる)

聴覚優位の例(時間タスク)

  • visual flashの数(何回光が明滅したか)は、同時に発音された音の数に影響される(Shams et al., 2002)。
  • flashのタイミングが、近隣で発音された音のオフセットへと誘引される(Fendrich & Corballis, 2001)。

"unity assumption"

  • モダリティー間の情報統合は、それらが同一の事象に起因して発生しているという強い期待があって、はじめて成立する。
    • 犬とその鳴き声、車とそのエンジン音、人々とその声は統合される必要があるが、あなたが今読んでいる原稿とその背景音は統合される必要は無い。
  • このように、二つのセンサー情報の適合性(congruence)が高い場合、それらは同一の事象から発生したと見積もられ、結果的に感覚間の結びつけ(cross-modal binding)はより生じやすくなる。
    • 被験者自身が、異なる感覚情報を共通の場所から生じているという信念は、統合の効果を高める(Helbig & Ernst, 2007)。
    • 同様に、視聴覚情報が、同一の地点から発せられている(という合意がある)場合、統合の効果を高じる。
  • どのようなキューが、視聴覚のそれぞれの情報が同一の事象に由来するということを示し得るか。
    1. 声と顔に関するジェンダーの一致
    2. 同時性(Synchrony)
      • マガーク効果は、視聴覚のズレが180ms以内の場合に生じる(Munhall, Gribble, Sacco., & Ward, 1996)。
    3. 空間的一致(Spatial congruence)
      • 腹話術効果は、人形の口と実際の発声の位置が近いほど強くなる。
    4. 感情の一致(Affective congruence)

因果性による結びつけ

  • Arrighi, Alais, and Burr (2006)によると、ドラマーの動きを点に加工したうえで、さらにその速度が一定値となるように加工すると、事象の結びつけが弱くなる。
  • bounce illusionも、挿入される音によって因果性が高まるため、同一の枠組みとして整理できる。
    • 重なると同時に発声する音を300ms前後にずらすと、bounce illusionは生じない(Watanabe and Shimojo, 2011)。
    • 音のピッチは影響しない → This is because auditory grouping occurs before intersensory pairing(Keetels, Stekelenburg, & Vroomen, 2007).
  • これらは全て、「binding by causality」仮説を説明するものである。打楽器の音はそれを引き起こす視覚的な動きと結びつく傾向にある。

トップ   編集 凍結 差分 バックアップ 添付 複製 名前変更 リロード   新規 一覧 単語検索 最終更新   ヘルプ   最終更新のRSS
Last-modified: 2014-08-19 (火) 15:09:23 (1186d)