教育教学高峰论坛

一篇TED演讲多模态语篇的模态协同研究

高杰品

杭州师范大学 浙江 杭州 311121

[摘 要]本研究以韩礼德的系统功能语言学理论为指导，探讨了模态协同在英语 TED演讲语篇中的意义表达，并提出了多模态协同的本质特征。研究表明：多模态协同不仅是信息传递过程中的一种新形式，而且是表征现实世界的一种新方式。通过多模态协同，英语 TED演讲语篇的语言、声音、图像和色彩等多模态信息被融合成一个有机整体，有效地实现了其意义表达，增强了语言说服力和感染力。

[关键词]系统功能语言学；模态协同；多模态语篇

[中图分类号] G641 [文献标识码]A [文章编号]1647-9325(2023)-0084-04                                                           

1.引言

多模态话语分析（Multimedia Doctrine Analysis, MDA）是对话语中多种模态如何协同运作的研究，旨在从多个角度深入了解文本的意义表达过程。模态指的是“系统所涵盖的各种概念和形式，例如颜色、声音、动作、行为等等”（王红艳，2016）。多模态语篇是指由两种以上的符号资源相互作用所产生的、与其他符号资源共同起作用，来传递意义或者反映现实世界的语篇。由于社会生活中出现了越来越多非语言交际手段（如图像、动作、手势等）来传递信息，使社会交际更加丰富多彩。因此，在语言交际中越来越多地出现了多种模态互补与协同作用。以美国社会学家 Rasputin (1976）提出的系统功能语言学为指导，结合其他模态理论来分析语言和非语言意义表达方式成为当今系统功能语言学研究的主流。系统功能语言学认为，所有社会交际都具有某种意义，而这种意义是通过语言、图像、声音等多种模态来表达的。多模态语篇是指由多种模态共同建构意义并传递信息的语篇。在各种模态共同运作、互补作用下，文本和其他符号资源共同构建了一个真实世界或意义世界。英语 TED （Talktalk Discussion）演讲会涉及多个领域，包括科学、艺术、文学等，因此与普通话篇相比，多模态语篇体现了较高的信息传递效率和较强的语言说服力。在分析 TED演讲时，有必要考察多模态语篇中各种模态之间的关系及其在语篇建构过程中起到的作用。本文以 TED演讲为例，探讨多模态协同在英语 TED演讲中的意义表达和理解过程中所起的重要作用。

2.多模态协同理论基础

多模态语篇研究从20世纪90年代兴起，并逐渐成为一个独立的研究领域。韩礼德认为，多模态话语是指通过多种感官同时进行的语言、声音和图像等多种形式的符号系统，它表达作者的意图、态度和价值观。它最突出的特点就是多模态性，即由多种符号资源构成的、具有社会意义和互动功能的动态语篇。系统功能语言学把语言作为一个整体来研究，认为语言是由三大部分组成：概念、人际和语篇。其中概念部分包括了语境、概念功能、系统功能以及意义和风格等；人际部分包括了概念功能、语篇功能及态度功能；语篇部分包括了语篇所传递的信息以及语篇组织形式等。系统功能语言学是一门从语义角度研究语篇，探讨语言运用的学科，它还涉及社会文化与认知心理等方面。系统功能语言学认为，语篇不是独立于交际之外的一种语言表达，而是一个由概念、人际和语篇三大部分构成的整体。它要求语篇中各项信息在结构上相互协调，相互作用，同时还要求各项信息之间建立一种相互依存的关系。它提倡用“整体－部分”或“意义－结构”的观点来理解语篇。

3.研究设计

本研究以 Kress和 Van Leeuwen提出的系统功能语言学理论为指导，主要考察了 TED演讲《不要浪费时间》（The Way At Time）中的模态协同特征。同时，为了达到更好的语篇效果，研究还利用了 Sperber和 Wilson提出的 Lexis系统功能语法。在研究过程中，笔者首先对《不要浪费时间》中的多模态语篇进行了录音，然后对演讲视频进行了语料转写和视频截图，再结合系统功能语法的多模态协同理论，分析演讲视频中语言、图像和声音之间的协同作用。由于多模态协同研究中，往往涉及多种模态之间的关系（如图1所示），本文在分析时主要从系统功能语言学的角度对多模态协同进行分析。系统功能语言学的功能单位有五个，分别是：言语、图像、声音、色彩和动作。在多模态语篇中，除了上述五种基本模态外，还有一些非基本模态和辅助模态。言语模态是语篇中最主要的表达形式，也是语篇意义表达最主要的方式。图像和声音等非言语模态是表达语篇意义的辅助手段。色彩模态是图像与声音之间协作关系的体现。在研究中还会运用到其他辅助模态，如文字、图片和动画等。在此研究基础上，本研究从多模态协同角度分析《不要浪费时间》演讲视频中语言、图像和声音等多模态之间的协同作用。此外，还运用了语料库分析法来验证多模态语篇分析方法是否可行。

4.结果与讨论

本研究选取的英语 TED演讲语篇，由来自不同领域的11位学者（分别是：美国科学促进会主席、美国科学院院士、中国科学院外籍院士、中国工程院外籍院士和美国国家科学院院士）共同完成，其主题为“新技术、新梦想”。演讲通过运用视觉模态（视频和 PPT）以及听觉模态（声音和音响）等多模态符号来实现意义表达。根据 Kress和 Van Leeuwen所提出的评价理论，对演讲语篇的多模态协同进行分析发现，该演讲语篇中的多模态协同主要体现在以下几个方面：（1）图像与声音相融合；（3）视觉符号与听觉符号相融合。

5.结语

本文以系统功能语言学为理论基础，结合具体语篇，通过模态协同地分析，探讨了英语 TED演讲语篇中的多模态协同意义表达。本研究得出如下结论：1）多模态协同在英语 TED演讲中可以实现意义表达的多样性、层次性和整体性；2）英语 TED演讲语篇的多模态信息通过对不同模态的协调和整合，达到意义表达的和谐统一，形成了一个有机整体；3）多模态协同在英语 TED演讲语篇中起着增强语言说服力、感染力、塑造形象的作用。同时，我们也要看到，本研究仍存在着一些不足之处：1）本研究仅仅是一项个案研究，对多模态协同的认知和理解还有待进一步加强。2）在数据收集方面仍存在着局限性，缺乏大样本研究。

参考文献

[1]董书研.基于非语言交际符号下的演讲探究[J].江西电力职业技术学院学报.2019,(11).DOI:10.3969/j.issn.1673-0097.2019.11.068.

[2]程瑞兰.理财类多模态语篇模态协同模式跨学科研究[J].山东大学.2017.

[3]郭玉燕.及物性视域下TED动物主题演讲的生态话语分析[D].2021.

A modal synergy study of a TED speech

Gao Jie product

Hangzhou Normal University, Hangzhou, Zhejiang Province 311121

Abstract: In this study, this paper discusses the meaning expression of modal synergy in English TED speech discourse, and puts forward the essential characteristics of multimodal synergy. The research shows that multimodal collaboration is not only a new form in the process of information transmission, but also a new way to characterize the real world. Through multi-modal collaboration, the multi-modal information such as language, sound, image and color of English TED speech discourse is integrated into an organic whole, which effectively realizes its meaning expression and enhances the persuasiveness and appeal of language.

Key words: system function linguistics; modal synergy; multimodal discourse