しらべる・かんがえる
研究キーワード・ジャンル・分野
この研究室で扱うテーマは，人間の感覚や感性に関わる幅広い領域にまたがっています．以下に主なキーワードとその意味を紹介します．
五感と感覚間の相互作用
私たちは普段，視覚・聴覚・触覚・嗅覚・味覚の五感を通じて世界を知覚しています．この研究室では特に，複数の感覚が互いに影響し合う現象に注目します．
- クロスモーダル効果 --- 五感の相互作用によって生じる様々な知覚現象の総称．ある感覚モダリティ（例えば視覚）の情報が，別のモダリティ（例えば触覚）の知覚に影響を及ぼすことを指す．
- マルチモーダル --- 複数の感覚を同時に提示・活用すること．例えば映画は視覚と聴覚のマルチモーダルな体験．脳機能イメージング研究により，複数の感覚を同時に提示すると，それぞれを単体で提示したときの活性度の合計を超える強い脳活動（スーパーアディティブ活性）が生じることが確認されている．
日常に潜むクロスモーダル効果
クロスモーダル効果は実は日常のいたるところに存在しています：
- かき氷 --- 実はシロップの味はほぼ同じだが，着色料による色の違いで「いちご味」「メロン味」など異なる味に感じる（視覚 → 味覚）
- 列車の錯覚（ベクション） --- 隣のホームの電車が動き出すと，自分の乗っている電車が動いたように感じる（視覚 → 体性感覚）
- ブーバ・キキ効果 --- 丸い図形を見ると「ブーバ」，尖った図形を見ると「キキ」という音と結びつける傾向がある．文化や言語を超えて人類に共通して見られる（視覚 → 聴覚）
視覚-聴覚間のクロスモーダル効果
| 効果名 | 説明 |
|---|---|
| 共感覚 | 音を聴くと色が見える，文字に色がつくなど，ある感覚刺激が自動的に別の感覚を引き起こす現象．200〜25,000人に1人程度とされる |
| マガーク効果 | 口の動き（視覚）と実際の音声（聴覚）が食い違うと，視覚情報に引きずられて別の発音に聞こえてしまう現象 |
| 腹話術師効果 | 人形が口を動かしていると，声が人形の口元から聞こえるように感じられる現象．音の定位が視覚情報に引き寄せられる |
視覚-触覚間のクロスモーダル効果
| 効果名 | 説明 |
|---|---|
| シャルパンティエ効果 | 同じ重さでも，見た目が小さい物体のほうが重く感じる錯覚 |
| ラバーハンド錯覚 | 目の前のゴムの手と，隠された自分の本物の手を同時に筆で撫でると，やがてゴムの手が自分の手であるかのように感じ始める現象 |
| 擬似触覚（Pseudo-Haptics） | マウスカーソルの動きを遅くするだけで，操作に「抵抗感」や「重さ」を感じる現象．物理的な力は加わっていないのに触覚的な感覚が生じる |
その他のクロスモーダル効果
- 視覚 × 嗅覚 --- 白ワインを赤く着色すると，ワインの専門家でも赤ワインの香りがすると評価してしまう
- 聴覚 × 味覚 --- ポテトチップスを噛んだときの音をマイクで拾い，音量を上げて再生すると「パリパリ感」が増し，わずかに遅延させて再生すると「ザクザク感」が増す
クロスモーダル効果の応用事例
| 事例名 | 分野 | 内容 |
|---|---|---|
| Meta Cookie | 食品 | AR（視覚）と香り（嗅覚）の情報を変化させることで，同じクッキーの風味を変えるシステム |
| Chewing Jockey | 食品 | 噛む動作に効果音を連動させ，食感を変化させるシステム |
| BrainPort | 福祉 | カメラ映像を舌への電気刺激パターンに変換し，視覚障害者が「舌で見る」ことを可能にするデバイス |
| VEST | 福祉 | 音を振動パターンに変換するベスト型デバイス．聴覚障害者が音を「体で感じる」ことを可能にする |
感性情報と印象
- 感性情報 --- 「可愛い」「高級感がある」「落ち着く」など，人がモノや環境から受け取る主観的な印象や感じ方のこと．数値化しにくいが，デザインやアートにおいて非常に重要．
- 印象 --- 対象に触れたときに抱く感覚的・感情的な反応．「ざらざらしている」「心地よい」など．
- 好み --- 直感的に「良い」「しっくりくる」「ふさわしい」と感じること．
エナクティビズム
- エナクティビズム（Enactivism） --- 「知覚は受動的に情報を受け取ることではなく，自ら行為することで初めて生まれる」という考え方．例えば，コップの重さは持ち上げてみないとわからない．つまり 行為が知覚を生み，知覚が次の行為を生む という循環が知覚の本質であるとする立場．インタラクティブアートにおいて，体験者が作品に「触れる」「動かす」ことで初めて作品の意味が立ち上がるという考え方の土台になっている．
学問分野
- 感性情報学 --- 人間の感性（印象，好み，美意識など）をデータとして扱い，工学やデザインに活かす学問．「この色の組み合わせはなぜ心地よいのか？」といった問いを科学的に探究する．
- 知覚心理学 --- 人間が外界の情報をどのように知覚・認識しているかを研究する心理学の一分野．「なぜ同じ音でも状況によって違って聞こえるのか？」といった問いを扱う．
アートのジャンル
- サウンドアート --- 音を主な素材・表現手段とするアート．音楽とは異なり，空間や環境と音の関係性に着目することが多い．
- キネティックアート --- 実際に動く要素を持つアート作品．モーター，風，重力などを利用して物理的な動きを表現する．
- デバイスアート --- テクノロジーやデバイス（装置）そのものを表現手段とするアート．鑑賞するだけでなく，体験者が触れて操作できることが多い．日本発の概念．
インタラクション関連
- HCI（Human Computer Interaction） --- 人間とコンピュータの間のやりとり（インタラクション）を研究する分野．使いやすいインタフェースの設計から，新しい体験の創出まで幅広い．
- タンジブルユーザインタフェース --- 物理的なモノ（積み木，つまみ，カードなど）を直接手で操作することでデジタル情報を扱うインタフェース．画面上のボタンをクリックする代わりに，実際のモノを動かして操作する．
- シグニファイア --- 「どう操作すればよいか」を利用者に伝えるデザイン上の手がかり．ボタンの出っ張りは「押す」ことを，ドアの取っ手は「引く」ことを，それぞれ自然に伝えている．アート作品でも，体験者が次に何をすべきか直感的にわかるような手がかりを設計することが重要．
音に関する分野
- サウンドスケープ --- ある場所や環境を特徴づける音の風景．鳥のさえずり，車の走行音，雨音など，その場の雰囲気を形づくる音の総体を指す．
- 電子楽器（DMI: Digital Musical Instrument） --- デジタル技術を用いた楽器．従来の楽器とは異なり，入力（演奏操作）と出力（音）の関係を自由に設計できるのが特徴．