ＣｈａｐｔｅｒＯｎｅＩｎｔｒｏｄｕｃｔｉｏｎ

ａｎｄｉｎｔｅｒｎｅｔ．Ｔｈｅｄａｔａａｎｄｉｎｆｏｒｍａｔｉｏｎ

ａｒｅ

ｃｏｍｍｏｎｌｙｍｉｘｅｄｗｉｔｈｄｉｆｆｅｒｅｎｔｉｍａｇｅｓ，

ｓｏｕｎｄａｎｄｍｕｓｉｃ．Ｔｈｅｔｒａｄｉｔｉｏｎａｌｗａｙｏｆｐａｓｓｉｎｇ

ｉｎｆｏｒｍａｔｉｏｎ

ｈａｓｂｅｅｎ

ｃｈａｎｇｅｄｂｙｉｔｓ

ｎａｔｕｒｅ．Ｔｈｕｓ

ｍｕｌｔｉｍｏｄａｌｄｉｓｃｏｕｒｓｅａｎａｌｙｓｉｓｉｓｏｐｅｎｅｄ

ｔｅｘｔｉｓａｖａｌｕａｂｌｅ

ｔｏａｌａｒｇｅｒａｎｇｅｏｆｔｈｅｕｐ ｔｏ—ｄａｔｅ

ｒｅｓｏｕｒｃｅｓ．Ａｍｏｎｇｔｈｅｓｅｔｈｅｍｏｖｉｅ

ｒｅｓｏｕｒｃｅｏｆＯｕｒｗｏｒｌｄｅｘｐｅｒｉｅｎｃｅｓ．

ＴｈｅｔｒａｄｉｔｉｏｎａｌｐｏｉｎｔｏｆｖｉｅｗａｂｏｕｔｔｈｅｌｉｔｅｒａｃｙｈａｓｔｏｂｅｂｒｏａｄｅｎｅｄｂｅｃａｕｓｅｏｆｔｈｅｅｍｅｒｇｅｎｃｅｏｆｍｕｌｔｉｐｌｅｃｏｎｓｔｒｕｃｔｉｏｎＬｏｎｄｏｎ

ｍｏｄｅｓｏｆ

ｃｏｍｍｕｎｉｃａｔｉｏｎ，ｔｈｅ

ｍｏｒｅ

ｃｏｍｐｌｅｘｏｆｍｅａｎｉｎｇ

ａｎｄｔｈｅ

ｌｉｎｇｕｉｓｔｉｃａｎｄｃｕｌｔｕｒａｌｄｉｖｅｒｓｉｔｙ，ｗｈｉｃｈａｒｅｆｏｕｎｄｂｙｔｈｅＮｅｗ

ｔｈｅｅｘｐｌｏｒａｔｉｏｎｏｆｔｈｅ

Ｇｒｏｕｐ（１９９６）．Ｔｈｒｏｕｇｈ

ｔｏｅｎｈａｎｃｅｔｈｅ

ＭＤＡｏｆｔｈｅｍｏｖｉｅｓｈｏｔｓ，ｔｈｉｓ

ｔｈｅｓｉｓｐａｐｅｒａｉｍｓｕｎｄｅｒｓｔａｎｄｉｎｇｓ

ｏｆ

ｏｆｔｈｅｐｒｏｃｅｓｓｏｆｃｏｍｍｕｎｉｃａｔｉｏｎｗｈｉｃｈ

ｉｎｖｏｌｖｅｓｔｈｅｓｐａｔｉａｌ

ａｎｄｔｅｍｐｏｒａｌｄｙｎａｍｉｃｓ

ｖｉｓｕａｌ

ｓｅｍｉｏｓｉｓ．Ａｌｓｏｉｔａｉｍｓ

ｔｏｐａｖｅｔｈｅ

ｗａｙｆｏｒｔｈｅｆｕｒｔｈｅｒｅｘｐｌｏｒａｔｉｏｎｏｆｔｈｅａｎｄ

ｔｏｕｃｈａｒｅ

ｆｕｒｔｈｅｒ

ｃｏｍｍｕｎｉｃａｔｉｏｎｗｈｅｒｅｓｉｇｈｔ，ｈｅａｒｉｎｇ，ｔａｓｔｅ，ｓｍｅｌｌ，

ｓｅｎｓｏｒｙ

ｓｏｕｒｃｅｓｆｏｒａｎｄ

ｗｈｉｃｈ

ｄｅａｌｓ

ｗｉｔｈ

ｈｕｍａｎ—ｈｕｍａｎ

ｏｆｇｅｓｔｕｒｅ，

ｍｕｌｔｉｍｏｄａｌ

ｓｔｒｕｃｔｕｒｅ

ｃｏｍｍｕｎｉｃａｔｉｏｎ

ｆｕｎｃｔｉｏｎｓ

ｏｆ

ｉｎｃｌｕｄｉｎｇｓｐｅｅｃｈ－ｇｅｓｔｕｒｅｓｙｓｔｅｍｓ，ｓｅｍｉｏｔｉｃｓｆａｃｅ－ｔｏ．ｆａｃｅ

ａｎｄ

ｃｏｍｍｕｎｉｃａｔｉｏｎ，ｅｍｏｔｉｏｎａｌｒｅｌａｔｉｏｎｓａｎｄ

ｉｎｔｅｒｃｕｌｔｕｒａｌｖａｒｉａｔｉｏｎ．

Ｉｎｔｈｉｓａｇｅｏｆｍｕｌｔｉｍｅｄｉａ，ｔｈｅｒｅｉｓ

ａｎ

ｉｎｃｒｅａｓｉｎｇａｗａｒｅｎｅｓｓｔｈａｔｍｅａｎｉｎｇｃｏｕｌｄｎｏｔ

ｂｅｍａｄｅｗｉｔｌｌｌａｎｇｕａｇｅａｌｏｎｅｉｎｍｏｓｔｃａｓｅｓ．Ａｎｄｔｈｉｓｍｕｓｔｂｅｕｎｄｅｒｓｔｏｏｄｂｙｔａｋｉｎｇ

ｌａｎｇｕａｇｅ

ａｓ

ｓｏｃｉａｌ

ｓｅｍｉｏｔｉｃ（Ｈａｌｌｉｄａｙ，１９９４）ａｎｄ“ｔａｋｉｎｇ

ａｓ

ｉｎｔｏ

ａｃｃｏｕｎｔ

ａｓ

ｍａｎｙ

ｍｏｄａｌｉｔｉｅｓｏｆｃｏｍｍｕｎｉｃａｔｉｏｎｗｅ

ａ

ｃａｎｓｙｓｔｅｍａｔｉｃａｌｌｙｄｅｓｃｒｉｂｅ”（Ｍａｒｔｉｎ

ａｎｄＲｏｓｅ，

２００３）．Ｔｈｉｓｉｓ

ｂｅｃａｕｓｅ，“ｗｅｌｉｖｅｉｎｍｕｌｔｉｍｏｄａｌｓｏｃｉｅｔｙ，ｗｈｉｃｈｍａｋｅｓｍｅａｎｉｎｇｔｈｒｏｕｇｈ

ａｒｅ

ｔｈｅＣＯ—ｅｍｐｌｏｙｍｅｎｔｏｆｓｅｍｉｏｔｉｃｏｆ

ｒｅｓｏｕｒｃｅｓ”（Ｌｉｍ，２００４）．Ｔｈｅｒｅａｎｄ

ｖａｎ

ｐｒｏｄｕｃｔｉｖｅａｃｃｏｕｎｔｓ

ｉｍａｇｅ（Ｏ’Ｔｏｏｌｅ

１９９４；ＫｒｅｓｓＬｅｅｕｗｅｎ１９９６；Ｇｏｏｄｍａｎ１９９６；Ｊｅｗｉｔｔ

ａｎｄ

Ｏｙａｍａ

２００１；Ｓｔｅｎｇｌｉｎ

ａｎｄＩｄｅｍａ

２００１），ｍｕｓｉｃ

ａ

ａｎｄｓｏｕｎｄ（Ｖａｎ

ｈａｓｂｅｃｏｍｅ

ａ

Ｌｅｅｕｗｅｎ１

９９９）ａｎｄ

ａｃｔｉｏｎ（Ｍａｒｔｉｎｅｃ１９９８，２０００）．Ａｓ

ａ

ｒｅｓｕｌｔ，ＭＤＡ

ｖｅｒｙｅｘｃｉｔｉｎｇｒｅｓｅａｒｃｈ

ｆｒｏｎｔｉｅｒ．Ｔｈｅｒｅ

ｉｓ

ｐｒｅｓｓｉｎｇｎｅｅｄｔｏｕｎｄｅｒｓｔａｎｄｔｈｅｄｙｎａｍｉｃｓｏｆｓｅｍｉｏｓｉｓｉｎｍｕｌｔｉｍｏｄａｌ

ｄｉｓｃｏｕｒｓｅｓｕｃｈ

ａｓ

ｆｉｌｍ．Ａｃａｄｅｍｉｃｄｉｓｃｉｐｌｉｎｅｓｓｕｃｈ

ａｓ

ｌｉｎｇｕｉｓｔｉｃｓ，ｗｈｉｃｈ

ｆｏｃｕｓ

ｏｎ

－

３

－