在数码技术、多媒体技术和网络技术合力影响下，各种纷繁复杂、新颖多变的多模态话语形式层出不穷，这给多模态话语研究带来的既是机遇也是挑战，单从语言学角度分析多模态话语已经显得捉襟见肘。经过十多年的发展, 多模态话语分析已经超越了语言学的藩篱, 扩展到多学科领域。研究对象也从语言文字扩展到音乐、图片、影像、网页设计和建筑风格等多种社会符号系统，形成了多学科、多视角的交叉、融合和整合的态势^[1]。虽然研究初具规模，但鲜有对多模态话语跨学科研究进行系统阐述与总结。本文对多模态话语跨学科属性和研究现状进行了系统的梳理，并对多模态话语跨学科研究的成就和不足进行了评介, 以及对未来的多模态话语的跨学科发展提出了建议和展望。

一.   语言学研究跨学科倾向

语言学研究中一直存在着两种倾向：一种是向纵深发展，对本学科的研究越挖越深；另一种是横向发展，力求与不同学科建立联系，以解决种种复杂的语言问题^[2]。与单学科内部纵向发展相比，跨学科横向发展趋向更加凸显，规模也更大，这一趋势已经成为今天语言学科发展的显著特征。这一现象跟人们对语言本质研究的不断深入和人类交际方式的多元化密切相关。此外，对立和统一的哲学原理，认知科学的隐喻理论和概念整合理论，技术媒体对人类交际的影响，以及连接主义学习理论都为学科整合发展和学术研究跨学科性提供了理论依据。

目前，从事多模态话语研究的学者大都接受的是“单模态”学科教育(如语言学)，因此，他们的研究难免带有学科偏见和局限性，对其它学科的理论和最新研究成果了解不多^[3]。学科间的整合发展和研究，需要引起相关学科领域研究者的共同关注，尤其需要作为多模态研究重要基础的认知科学研究者的积极参与。此外，由于不同学科关注的模态有所差别，如电影艺术侧重图像模态研究、音乐注重声音模态分析、语言文字模态则受到语言学的重点关注等。因此，如何取各家之长，补各家所需，进行合作研究，是多模态话语研究不得不面对的问题，也是多模态话语研究突破各自狭小的空间，继续体现其蓬勃发展生命力的必然出路。

二.   多模态话语分析本质

Jewitt认为模态指任何有组织、有规律的表现和交流方式，如静止的图像、手势、姿势、言语、音乐、书写或者这些元素的新的构造形式^[4]。在现实的社会交际中, 往往是多种符号资源被人们用来建构与传输意义，多符号的社会交际便形成多模态话语。

关于多模态话语的分析研究，我们可以从Jacobson的交际观点得到启发。他认为，语言学研究的任务主要是言语信息交际，符号学研究任何信息交际，其中包括言语信息的交际，而社会人类学和经济学研究的交际主要是信息交际^[5]。多模态话语分析突破了单一言语信息研究的范式, 把研究对象扩展到言语和非言语信息交际。多模态话语分析的未来趋势应该是经济学和社会人类学概念上的交际分析，它的真正研究焦点应该是交际。因此，多模态话语分析从本质来说是多模态交际分析。

三.   多模态话语研究的跨学科性

纵览国内外多模态话语分析的跨学科研究现状，多模态话语研究主要与社会符号学、社会学、认知科学、人类学、民族学、传播学、哲学、计算机科学等学科的融合研究中取得了一定的成就。

1.多模态话语分析与符号学的融合研究。Saussure和Peirce在现代符号学史上占有重要地位，而多模态话语研究则是基于Halliday的社会符号学理论展开。以Kress和Van Leeuwen为代表的社会符号学派首先进行了社会符号学跨学科研究，他们把图像归纳为社会符号，从社会符号学的视角来分析图像、人物、事物等如何进行复杂程度不一的视觉陈述，并认为该过程中，视觉语法起到了决定性作用^[6]。Baldry&Thibault提出了一系列研究多模态话语的工具和概念，主要用于研究一个有技术支撑的平面，如一个印刷页、一个电视屏幕或一个网页中的一个物质符号与其它物质符号的结合，如何在现代社会文化背景中形成一种符号资源共同实现意义表达^[7]。

国内学者顾曰国、胡壮麟、朱永生、张德禄等也从社会符号学视角对多模态话语分析的理论依据和分析方法进行了研究，与符号学的学科融合研究在国内多模态话语研究中占据相当比例，因此，对于该领域的研究本文在此不作过多阐述。

2.多模态话语分析与交互社会学的融合研究。交互社会学研究的焦点在于人们在交际时如何采用不同的方式构建他们所处的情景以及确立该情景下的身份。在交互社会学中，多模态话语分析把人们的行为作为出发点而不是语篇，因为在交互过程中，参与者很少把注意力集中于某个单一的焦点或媒体，而是同时关注几件事情。Scollon的介入话语分析理论就是建立在交互社会学基础之上的。该理论试图把人们的社会行为和语篇有机地结合起来研究，以弥补以往的语篇分析理论忽略了行为而社会学理论忽略了语篇的不足之处^[8]。Scollon把语言看作是一种社会行为、介入行为而并非语篇。Norris发展了Scollon的理论并建立了自己的多模态分析框架。她认为社会交互是多模态的，在特定情景下不同交际模式以不同程度参与交互，该模式由三部分构成：介入行为、模态密度和前景-背景延续体^[9]。两个德国妇女的身份构建过程^[9]以及多人交际中关联的产生就是利用这个理论框架进行分析的^[10]。此外，Jewitt认为语境概念和情景化的互动才是与社会学融合研究的重点，该视角强调的是互动，因而模态系统不再是主要关注点，互动和动作模态对模态的理解才是重要的^[11]。在中国，除了一些研究中提及过与社会学的融合研究，还没有出现任何系统性的相关研究，还有待加强。

3.多模态话语分析与认知科学的融合研究。在19世纪90年代初，研究者已发现各种各样非言语模态可以被用来实践隐喻表征。于是以Forceville为代表的多模态话语分析认知学流派从认知学角度剖析各个模态之间的相互作用及意义表征，提出多模态隐喻^[12]。在多模态话语中，交际者如何通过不同的模态进行连贯的交际？Forceville认为，要回答这个问题，就不得不首先考虑人类所掌握的超越话语之上的内化了的模式，比如关联理论、心理表征、类典型等。他在关联理论和理想认知模式(ICM)基础上构建出了图像隐喻理论，该理论最终发展为多模态隐喻理论^[13]。从本质上来说，Forceville是用认知理论，确切的说是概念隐喻理论(CMT)对多模态话语进行跨学科研究，不过，他更加偏重的是模态隐喻部分。

认知领域的Holsanova等关注的则是人类如何以多模态方式与网络新闻媒介产生互动。他们研究网络新闻的多模态话语，特别是读者如何理解不同模态之间的相互影响, 如何获取信息，如何整合信息，以及使用者与多模态界面的互动，使用者对不同媒体的评价和态度等^[14]。近期，Forceville & Urios-Aparisi^[15]又把整合理论运用于视觉和多模态隐喻分析，并结合静态的可视化图像混合体的特殊性，分析了BT模式的局限性，进一步分析了多模态隐喻理论。国内学者束定芳^[16]、晋小涵^[17]等近期再次强调了认知领域对语言学研究的重要性。认知学视角多被国内学者应用于多模态隐喻研究，产生了认知科学多模态研究、多模态外语教学研究等，这也代表了国内多模态话语跨学科研究的趋势。

4.多模态话语分析与人类学、民族学的融合研究。Howes的《人类学和多模态》，从跨文化多模态理论视角对人类的感知变化关系进行了个案研究，是人类学研究中进行多模态分析的跨学科研究典型。在该书中，Howes基于认知科学与感官人类学，提出了感官知觉跨文化多模态理论。他还借此分析太平洋岛群美拉尼西亚、南美洲和北美洲当地人案例^[18]。Street等的《多模态与新读写能力研究》重点从民族学视角分析了多模态与新读写能力之关系，并介绍了不同学者从不同途径对两者交融的研究^[18]。P.Luff等的《模糊的精确：设计作品与互动》以会话分析和民族方法学等路径为切入点，从多模态视角分析了工作场所的现场即席话语^[18]。可见，在西方国家，多模态话语分析与人类学、民族学的跨学科研究视野已经较为广阔，同时也颇具深度。但是在国内，这一块还没有引起重视，处于空白状态，当然，该领域的跨学科研究还需要世界学者的共同参与。

5.多模态话语分析与传播学的融合研究。传播学是由新闻学和修辞学两个学科交叉融合形成，与话语研究的血缘关系是与生俱来的。20世纪80年代以来，传播学的三个分支学科——人际传播、大众传播和跨文化传播——广泛借用话语研究理论和方法进行跨学科研究。人际传播中的话语研究以人们面对面的口语交谈为主要分析对象，旨在揭示人际传播中的自我呈现、关系管理、责任分配、组织架构、文化制定、说服等问题。从研究情境上看，富含冲突和张力的人际传播情境备受关注^[19]。Lemke的《多模态、身份认同与时间》属于传播学话语的多模态研究范畴。他提出以现象学方法作为符号学研究路径的补充进行多模态研究，探讨了媒介消费的时间控制程度及实现场所如何影响人们对媒体的感知经历及身份认同, 并提出对媒介中潜在的权力关系进行批评分析^[18]。国内学者刘靖的《传播生态学视域下的外语学习模态》则是融合传播学对多模态话语研究的尝试^[20]。传播学与多模态话语交叉研究，结合部分的研究多是点多面广，二者的结合研究无疑具有重要的前景。

6.多模态话语分析与哲学的融合研究。19世纪末20世纪初，哲学的语言学转向给语言学研究的发展带来了更广阔的空间，了解语言发展的哲学背景对语言学的研究至关重要。自柏拉图时代以来，哲学领域关于图文关系的争论从未休止过，可谓源远流长。柏拉图所开启的哲学传统认为，由于图像和文字自身的符号价值是被模仿物所遮蔽的，因此，无论是图像还是文字，无任何价值可言。图文共存于同一时空，表达一致意义，图优于文。但是索绪尔、阿恩海姆则认为图像与文字存在各自的符号价值，二者所谓对对象的模仿的共同本质已经被消解掉了，因此，图文关系并不必须和谐一致。而到了德里达那里，图文关系中不存在“中心”，既然“去中心化”，也就不存在“谁是支配，谁是主导”的问题，图像与文字具有各自独立的符号特征，具有平等的地位，孰优孰劣的说法在图文关系中不复存在。目前，柏拉图式图文观似乎更多受到了来自实践的冲击，这是因为图文关系的偶然、任意、即逝、片断、龃龉已成为可能，图像独立存在已成为可能，用不着文字的阐释了^[21]。国内学者董敏运用多模态社会符号学框架，从视觉语法视角对新华网上两幅5·12地震一周年前后图片进行了对比分析，并在此基础上根据语言的元图像观，尝试探讨语言哲学向视觉哲学转变的哲学命题^[22]。

哲学视角为多模态话语研究开辟了另一片更广阔的视野，哲学领域的多模态话语观对多模态话语研究的启示不容忽略，对于多模态话语研究的方向和研究方法具有重要的指导和借鉴意义。因此，多模态话语分析与哲学的跨学科融合研究仍然存在巨大的探讨空间。

7.多模态话语分析与计算机技术的跨学科融合研究。Routledge公司于2009年出版的The Routledge Handbook of Multimodal Analysis为我们提供了三位学者该方面的研究：O' Halloran的《符号图景的历时演变：从算术运算到计算技术》，Jones的《技术与信息展现方式》和Vasudevan的《多模态与移动文化》。三篇文章分别介绍了科技发展背景下，数学符号、语言符号以及图像符号是如何构建意义的；网站访问者如何通过图、文两种模态进行意义构建和交际；信息技术给多模态交际、身份认同等多模态语篇带来的影响^[18]。由单一言语话语分析到多模态话语分析的转变离不开计算机技术的空前发展，正是由于媒体信息技术的快速发展，才出现了各种新的话语形式。交际的多模态性和复杂性也需借助计算机信息技术手段来分析。而基于语料库的语篇多模态分析可实现使用计算机技术来分析多模态话语的语篇数据并研究语篇的具体意义及意义构建的过程。目前，意大利的帕韦尔大学、德国的不莱梅大学、新加坡国立大学在多模态语料库研究领域处于领先地位。国内学者对于该领域的研究较少，顾曰国、王立非、刘芹、张德禄对多模态语料库建设研究和多模态分析软件使用研究作出了初步尝试。其中，少数学者对口语语料库建设与应用研究取得了一定进展^[23][24]。多模态话语分析与计算机技术的融合研究是未来多模态话语研究的重要方向，需要更多跨学科学者携手合作，其研究前景广阔。

此外，多模态话语研究与政治学、法学、美学和医学等领域也存在跨学科研究，但数量较少。希望与这些学科合作研究将来能得到弥补和重视。

四.   结语与启示

国外多模态话语跨学科研究主要是综合性介绍了人类社会活动中的多模态现象，理论与应用研究并重，具有广阔独到的视角和新颖丰富的内容，对从事多模态语言研究者具有极大的启发和借鉴意义。多模态话语的跨学科研究有个案研究，也有宏观概论，由内而外，立体而全面地呈现了多模态研究的全景。同时让我们看到了跨学科研究所带来的多学科互为繁荣的双赢格局。但是，在国内，多模态话语的跨学科研究主要集中于以社会符号学为主的跨学科研究，极少数研究涉及到认知科学、交互社会学和计算机科学等学科。在研究广度和深度上，国内多模态话语跨学科研究的深度和广度严重不足。

以上信息让我们不得不重新审视和思考我国的多模态话语分析研究现状和未来研究方向。我们认为，一方面，学科合作是多模态话语研究的必然出路，因为语言学科自身难当大任。多模态话语的跨学科研究还需要语言学科之外的其它人文社会科学的倾力合作。但遗憾的是，目前多模态话语研究仍然处于语言学学者的孤军奋战状态，学科间的合作仅处于初始阶段。另一方面，多模态话语研究除了在人文社会科学内部跨学科研究之外，仍然无法摆脱在多模态话语转录中研究人员计算机技术水平滞后的束缚。因此，多模态话语研究与自然科学的联姻，多模态语料库的建设，多模态话语的转录和分析等都离不开计算机技术等自然科学的协助。基于以上分析，我们建议，多模态话语研究的跨学科团队建设、跨学科人才培养等任务应该成为各大高校和研究单位工作中的重要环节，研究生和博士生的培养应该注重相关学科知识普及甚至是有针对性地跨学科培养。此外，纵观国内外跨学科研究，多以宏观研究为主，虽然有实例研究和个案研究，但多从主观描述视角分析。因此，微观研究与实证研究是未来多模态话语跨学科研究的主要方向。

在信息技术日新月异的今天，语言学研究必须与包括社会科学以及自然科学在内的其它学科研究携手，在更加广阔的多维视野下研究人类多模态交际行为，把人类交际行为放在更高层次来考察。多模态话语跨学科研究是当下和未来多模态话语研究的必然趋势，应该引起足够重视。