外語(yǔ)數(shù)字教材的多模態(tài)符號(hào)設(shè)計(jì)研究

　　〔摘要〕 數(shù)字教材是教育信息化革命的產(chǎn)物，是外語(yǔ)教學(xué)的重要資源載體。研究以國(guó)家開(kāi)放大學(xué)公共英語(yǔ)課程多媒體數(shù)字教材《人文英語(yǔ)》為語(yǔ)料，運(yùn)用社會(huì)符號(hào)學(xué)和多模態(tài)話語(yǔ)分析的相關(guān)理論，圍繞多模態(tài)語(yǔ)篇作者的符號(hào)實(shí)踐、外語(yǔ)教學(xué)語(yǔ)境中的社會(huì)實(shí)踐兩個(gè)維度，從概念意義建構(gòu)、人際意義建構(gòu)、模態(tài)間關(guān)系三個(gè)方面進(jìn)行深入闡釋，并提出研究對(duì)我國(guó) EFL 教學(xué)的啟示。

　　本文源自王琴， 北京科技大學(xué)學(xué)報(bào)(社會(huì)科學(xué)版) 發(fā)表時(shí)間：2021-04-23《北京科技大學(xué)學(xué)報(bào)》(月刊)創(chuàng)刊于1955年，是由北京科技大學(xué)主辦的專業(yè)性學(xué)術(shù)科技期刊。本刊旨在推動(dòng)國(guó)內(nèi)外學(xué)術(shù)界的交流與合作，主要刊登礦業(yè)與環(huán)境、冶金與材料、設(shè)備與能源(冶金)、控制與決策(鋼鐵企業(yè))等領(lǐng)域的最新研究成果。為冶金工業(yè)類中文核心期刊、中國(guó)科技論文統(tǒng)計(jì)源期刊和中國(guó)科學(xué)引文數(shù)據(jù)庫(kù)統(tǒng)計(jì)源期刊。

　　〔關(guān)鍵詞〕 數(shù)字教材; 社會(huì)符號(hào)學(xué); 多模態(tài)話語(yǔ)分析; 設(shè)計(jì); 多元讀寫教學(xué)法

　　數(shù)字革命始于 20 世紀(jì) 50 年代末，信息技術(shù)的日益廣泛應(yīng)用改變了傳統(tǒng)的思維模式和交際方式，也因此對(duì)教育產(chǎn)生深遠(yuǎn)的影響，數(shù)字教材應(yīng)運(yùn)而生。從紙質(zhì)教材到數(shù)字教材的演變，不僅印證了教育信息化發(fā)展進(jìn)步的軌跡，也反映了人類社會(huì)知識(shí)觀和學(xué)習(xí)理論的演進(jìn)史。從 20 世紀(jì) 60 年代的行為主義到 80 年代的認(rèn)知主義，直至 80 年代中期以后向社會(huì)建構(gòu)主義轉(zhuǎn)型，都推動(dòng)了數(shù)字教材的不斷開(kāi)發(fā)和完善[1]。

　　數(shù)字教材是集合了教科書、音聲、靜物畫、動(dòng)畫和影片等多種表達(dá)方式的多媒體信息形態(tài)的教材，綜合了旨在實(shí)現(xiàn)教育目標(biāo)而數(shù)字化的學(xué)習(xí)素材與管理學(xué)習(xí)過(guò)程的信息學(xué)習(xí)系統(tǒng)[2]。數(shù)字教材是教育信息化革命的產(chǎn)物，是外語(yǔ)教學(xué)的重要資源載體。迄今，數(shù)字教材呈現(xiàn)靜態(tài)媒體、多媒體及富媒體三種發(fā)展形態(tài)，它具有直觀性、即時(shí)性、多模態(tài)、開(kāi)放共享和動(dòng)態(tài)交互等特性。從靜態(tài)超文本的教育信息化 1. 0，過(guò)渡到社交媒體的網(wǎng)絡(luò)計(jì)算和社會(huì)參與網(wǎng)絡(luò)為主的教育 2. 0 時(shí)代，直至邁入以云計(jì)算和全球互聯(lián)網(wǎng)為特征的教育 3. 0 ，數(shù)字教材的開(kāi)發(fā)和研究引發(fā)學(xué)界的廣泛關(guān)注和興趣。

　　本研究聚焦國(guó)家開(kāi)放大學(xué)英語(yǔ)教研團(tuán)隊(duì)編寫的全媒體數(shù)字教材———公共英語(yǔ)系列教材之《人文英語(yǔ)》( 1 ～4 冊(cè)) ，該教材主要面向開(kāi)放大學(xué)系統(tǒng)、職業(yè)院校的在校生和職場(chǎng)人士。團(tuán)隊(duì)開(kāi)發(fā)并推出數(shù)字閱讀云平臺(tái)———“開(kāi)放云書院”，學(xué)習(xí)者下載客戶端掃描二維碼，即可獲取數(shù)字教材和學(xué)習(xí)資源，體驗(yàn)移動(dòng)學(xué)習(xí)的魅力。本文擬從多模態(tài)社會(huì)符號(hào)學(xué)的理論視角對(duì)數(shù)字教材進(jìn)行多模態(tài)話語(yǔ)分析，并借鑒“新倫敦學(xué)派”( 以下簡(jiǎn)稱 NLG) 的多元讀寫教學(xué)法，提出對(duì)外語(yǔ)教學(xué)實(shí)踐的指導(dǎo)建議。本研究擬回答以下問(wèn)題:

　　( 1) 數(shù)字教材多模態(tài)語(yǔ)篇作者的符號(hào)實(shí)踐如何建構(gòu)學(xué)科知識(shí)? 建構(gòu)了怎樣的社會(huì)關(guān)系?

　　( 2) 語(yǔ)篇作者運(yùn)用了哪些模態(tài)和符號(hào)資源? 不同模態(tài)間的關(guān)系怎樣?

　　( 3) 如何利用數(shù)字教材的技術(shù)優(yōu)勢(shì)開(kāi)展 EFL 教學(xué)?

　　一、文獻(xiàn)回顧

　　( 一) 數(shù)字教材的國(guó)內(nèi)外研究現(xiàn)狀

　　筆者梳理現(xiàn)有文獻(xiàn)發(fā)現(xiàn)，國(guó)外學(xué)者著重從教學(xué)改革、學(xué)習(xí)者、教師和教育技術(shù)四個(gè)維度開(kāi)展研究。Kim & Jung [3]探討了教育技術(shù)融合背景下韓國(guó)數(shù)字教材的教學(xué)改革面臨的機(jī)遇、挑戰(zhàn)及教改實(shí)施模式，研究表明教材對(duì)學(xué)生的影響與地域、學(xué)習(xí)者的學(xué)業(yè)水平相關(guān)。歐洲和亞洲學(xué)者主要從學(xué)習(xí)者的視角出發(fā)，圍繞數(shù)字教材的學(xué)習(xí)效果[4-8]和學(xué)習(xí)策略[9-10]展開(kāi)討論，也有歐美學(xué)者從教師維度開(kāi)展研究[11-12]。Railean [13]博士在他的專著 User Interface Design of Digital Textbooks 中，從回顧教育技術(shù)的發(fā)展歷程入手，運(yùn)用數(shù)字學(xué)習(xí)理論探討了數(shù)字教材用戶界面的設(shè)計(jì)原則和模式，對(duì)推動(dòng)數(shù)字教材的開(kāi)發(fā)應(yīng)用有較強(qiáng)的指導(dǎo)和應(yīng)用價(jià)值。相比之下，國(guó)內(nèi)學(xué)者更偏重于從教材的數(shù)字化出版[14-15]、教材開(kāi)發(fā)建設(shè)與發(fā)展[16-18]、教師的技術(shù)接受度[19-20] 和 教 學(xué) 改 革 實(shí) 踐[21] 等 方 面 進(jìn) 行 探 討。 Gu [22]采用文獻(xiàn)研讀法，對(duì)數(shù)字教材的國(guó)內(nèi)外研究、各國(guó)項(xiàng)目報(bào)告和使用案例、使用影響因素和學(xué)習(xí)效果研究等進(jìn)行了較全面的回顧、梳理和展望，該綜述性研究具有較高的學(xué)術(shù)價(jià)值和較強(qiáng)的實(shí)踐指導(dǎo)意義。

　　綜上，國(guó)內(nèi)外學(xué)者在對(duì)數(shù)字教材的研究總體上呈平穩(wěn)上升趨勢(shì)，研究興趣既涵蓋共同關(guān)心的熱點(diǎn)領(lǐng)域，如教學(xué)改革、教師研究等，又表現(xiàn)出各自的偏好和側(cè)重。從研究方法看，既有偏理論的思辨性研究，也有重實(shí)踐應(yīng)用的實(shí)證性研究，但缺乏從社會(huì)符號(hào)學(xué)角度對(duì)數(shù)字教材多模態(tài)語(yǔ)篇的意義建構(gòu)及符號(hào)實(shí)踐進(jìn)行探究，且對(duì)我國(guó)外語(yǔ)教師使用數(shù)字教材開(kāi)展 EFL 教學(xué)方法的探討也語(yǔ)焉不詳，這正是本研究亟待解決的問(wèn)題。

　　( 二) 英語(yǔ)教材的多模態(tài)話語(yǔ)研究

　　Bezeman & Kress [23]運(yùn)用歷時(shí)研究方法，分析了國(guó)外中學(xué)英語(yǔ)教材的多模態(tài)設(shè)計(jì)，并從社會(huì)符號(hào)學(xué)視角闡 釋 了 70 年 間 英 語(yǔ) 教 科 書 發(fā) 生 的 深 刻 變 化。 Chen [24]運(yùn)用多模態(tài)話語(yǔ)分析和評(píng)價(jià)語(yǔ)義系統(tǒng)框架，分析中小學(xué) EFL 課程大綱中的情感、態(tài)度的多模態(tài)符號(hào)意義建構(gòu)及個(gè)體語(yǔ)義發(fā)生的“再語(yǔ)境化”; 王琴[25]以美國(guó)語(yǔ)文教材———《Treasures》為語(yǔ)料，運(yùn)用系統(tǒng)功能語(yǔ)言學(xué)和社會(huì)符號(hào)學(xué)理論，探討教材中的人際符號(hào)資源及符號(hào)設(shè)計(jì)原則，揭示教材編寫者如何挖掘多模態(tài)意義潛勢(shì)與讀者互動(dòng); Feng [26]在社會(huì)符號(hào)學(xué)和評(píng)價(jià)系統(tǒng)的框架下，探討香港中小學(xué) EFL 教材中道德價(jià)值觀的多模態(tài)話語(yǔ)建構(gòu)及道德價(jià)值觀在教材中的分布規(guī)律。

　　上述文獻(xiàn)中英語(yǔ)教材的多模態(tài)研究均以傳統(tǒng)紙質(zhì)教材為研究對(duì)象，而對(duì)數(shù)字教材鮮有關(guān)注; 教材的受眾也多以中小學(xué)生為主，而對(duì)以成人 EFL 學(xué)習(xí)者為受眾的教材研究少有涉足。本文將從社會(huì)符號(hào)學(xué)的理論視角審視數(shù)字教材的多模態(tài)話語(yǔ)建構(gòu)，并結(jié)合多元讀寫教學(xué)法，探討數(shù)字教材對(duì)我國(guó) EFL 教學(xué)的啟示。

　　二、理論基礎(chǔ)

　　( 一) 社會(huì)符號(hào)學(xué): 意義、符號(hào)和模態(tài)設(shè)計(jì)

　　社會(huì)符號(hào)學(xué)是對(duì)符號(hào)系統(tǒng)如何在社會(huì)語(yǔ)境中生成意義的功能研究，它關(guān)注在特定社會(huì)文化語(yǔ)境的社會(huì)交際中生成的意義。符號(hào)是符號(hào)學(xué)的核心單位，是形式和意義的融合。區(qū)別于皮爾斯的普通符號(hào)學(xué)和索緒爾的符號(hào)觀，Kress 的社會(huì)符號(hào)學(xué)[27]10 認(rèn)為，符號(hào)是社團(tuán)成員在社會(huì)交際中產(chǎn)生的，符號(hào)的形式和意義之間的關(guān)系不是任意的，而是由符號(hào)制造者的興趣決定。符號(hào)的形式和意義之間存在“動(dòng)機(jī)”( motivated) 關(guān)系，并強(qiáng)調(diào)兩者之間的適合性( aptness) 。符號(hào)系統(tǒng)是交際過(guò)程中意義生成的資源。處在一定社會(huì)語(yǔ)境中的個(gè)體，利用特定社會(huì)文化中可資獲得的符號(hào)資源，主動(dòng)參與符號(hào)制造和社會(huì)交際過(guò)程。

　　Kress 的社會(huì)符號(hào)學(xué)理論融合了 Halliday 關(guān)于 “語(yǔ)言作為社會(huì)符號(hào)的觀點(diǎn)”，發(fā)展并創(chuàng)立旨在解釋所有符號(hào)意義生成和傳播的符號(hào)學(xué)理論。根據(jù) Halliday [28]的符號(hào)學(xué)方法，一個(gè)完整的交際理論需要表征概念功能( ideational function) ，即經(jīng)驗(yàn)世界的行為、狀態(tài)和事件; 人際功能( interpersonal function) ，即交際參與者的社會(huì)關(guān)系; 以及組篇功能( textual function) ，語(yǔ)篇局部以及語(yǔ)篇與語(yǔ)境之間的整體連貫。每種符號(hào)資源所做的選擇同時(shí)實(shí)現(xiàn)三大元功能并整合其意義。所有模態(tài)，如姿勢(shì)、動(dòng)作和視覺(jué)模態(tài)等，如同語(yǔ)言，都是在社會(huì)使用過(guò)程中形成社會(huì)資源的模態(tài)[29]。每個(gè)模態(tài)系統(tǒng)在整個(gè)話語(yǔ)意義表達(dá)中都扮演著獨(dú)特角色，它們?cè)诮浑H過(guò)程話語(yǔ)整體意義的建構(gòu)中是互補(bǔ)的[30]。

　　設(shè)計(jì)是社會(huì)符號(hào)學(xué)的核心概念。在語(yǔ)篇交際中，設(shè)計(jì)可理解為“修辭者把自己對(duì)交際環(huán)境的評(píng)估轉(zhuǎn)化為符號(hào)學(xué)塑造的物質(zhì)的過(guò)程”。Kress 以“土豆削皮器”為例，提出“設(shè)計(jì)是對(duì)一系列社會(huì)關(guān)系、社會(huì)實(shí)踐以及目的、任務(wù)、目標(biāo)、情感組成的結(jié)構(gòu)體集合的安排”的觀點(diǎn)。設(shè)計(jì)體現(xiàn)、投射和建構(gòu)社會(huì)關(guān)系，每一個(gè)語(yǔ)篇的設(shè)計(jì)都是從符號(hào)資源意義潛勢(shì)構(gòu)成的意義網(wǎng)絡(luò)中選擇的結(jié)果[27]132-137 。

　　多模態(tài)設(shè)計(jì)，是指運(yùn)用不同符號(hào)模態(tài)，如圖像、文字、色彩和布局去展現(xiàn)、體現(xiàn)及重新語(yǔ)境化社會(huì)關(guān)系和社會(huì)地位，為特定受眾呈現(xiàn)關(guān)于經(jīng)驗(yàn)世界的知識(shí)體系。設(shè)計(jì)體現(xiàn)和投射社會(huì)關(guān)系，并受社會(huì)和技術(shù)變化的影響和塑造[27]139 。本文所指的多模態(tài)設(shè)計(jì)主要是從數(shù)字教材開(kāi)發(fā)者及設(shè)計(jì)者的視角，故下文采納 Kress 的定義。

　　( 二) 多模態(tài)話語(yǔ)分析( MDA)

　　MDA 主要是在 Halliday 創(chuàng)立的系統(tǒng)功能語(yǔ)言學(xué)理論基礎(chǔ)上發(fā)展起來(lái)的。具體地說(shuō)，系統(tǒng)功能語(yǔ)言學(xué)關(guān)于“語(yǔ)言是社會(huì)符號(hào)、語(yǔ)言是意義潛勢(shì)( Meaning Potential) 系統(tǒng)、純理功能假說(shuō)( Metafunction Hypothesis) 、語(yǔ)篇是語(yǔ)言系統(tǒng)的實(shí)例化、語(yǔ)言層級(jí)間的‘體現(xiàn)’以及語(yǔ)境思想”的論述，對(duì)于多模態(tài)話語(yǔ)分析理論框架的不斷完善具有十分重要的借鑒意義。因篇幅所限，此處不再累述。

　　朱永生[31]84-85 認(rèn)為，要正確解讀多模態(tài)話語(yǔ)的意義，至少須要厘清兩方面的關(guān)系: 一是確定不同成分之間的語(yǔ)法關(guān)系，如從三大元功能分析圖像等視覺(jué)符號(hào)的語(yǔ)義關(guān)系; 二是要弄清不同模態(tài)，例如文字、圖像、動(dòng)畫和音樂(lè)之間的關(guān)系。Barth [32]認(rèn)為圖文之間有錨定、闡釋和接續(xù)三種關(guān)系，Martinec& Salway [33]在相互依賴關(guān)系上區(qū)分平等與不平等關(guān)系、圖文邏輯語(yǔ)義關(guān)系被概括為投射和擴(kuò)展兩類，Royce [34]從概念意義和人際意義關(guān)系的角度研究不同意義間的互補(bǔ)關(guān)系。然而，上述的研究框架只適用于圖文關(guān)系，且較為粗略，在分析中難免會(huì)出現(xiàn)模棱兩可、難以界定的情況。張德祿[35-36]對(duì)多模態(tài)話語(yǔ)中模態(tài)間關(guān)系進(jìn)行了更加深入的研究，認(rèn)為還需區(qū)分互補(bǔ)關(guān)系和非互補(bǔ)關(guān)系。在互補(bǔ)關(guān)系中，區(qū)分強(qiáng)化關(guān)系和非強(qiáng)化關(guān)系，前者包括突出、主次和擴(kuò)充; 后者包括交叉、聯(lián)合和協(xié)調(diào)。而非互補(bǔ)關(guān)系可區(qū)分為交疊、內(nèi)包和語(yǔ)境交互三子類，該分析框架詳見(jiàn)圖 1 [35]27 。

　　三、數(shù)字教材的多模態(tài)話語(yǔ)分析

　　筆者選取國(guó)家開(kāi)放大學(xué)英語(yǔ)教研團(tuán)隊(duì)編寫的公共英語(yǔ)多媒體數(shù)字系列教材之《人文英語(yǔ)》( 1 ～ 4 冊(cè)) 為語(yǔ)料。語(yǔ)料采用“冊(cè)-單元-頁(yè)碼”的順序標(biāo)注，例如“B1 -U1 -P4”，即“第 1 冊(cè)第 1 單元第 4 頁(yè)”( 下同) 。下面將圍繞多模態(tài)語(yǔ)篇意義制造者的符號(hào)實(shí)踐、教學(xué)語(yǔ)境中的社會(huì)實(shí)踐兩個(gè)維度，從教育多模態(tài)語(yǔ)篇的概念意義建構(gòu)、人際意義建構(gòu)、模態(tài)間關(guān)系三個(gè)方面進(jìn)行深入分析和闡釋。

　　( 一) 數(shù)字多模態(tài)教育語(yǔ)篇的學(xué)科知識(shí)建構(gòu)

　　學(xué)科是知識(shí)和經(jīng)驗(yàn)的結(jié)合，學(xué)科知識(shí)建構(gòu)離不開(kāi)對(duì)經(jīng)驗(yàn)世界的行為、狀態(tài)和事件的描寫與闡釋，知識(shí)和經(jīng)驗(yàn)兩者相互交織，共同作用于學(xué)科體系的構(gòu)建。下文所討論的數(shù)字教材多模態(tài)語(yǔ)篇的概念意義將聚焦語(yǔ)篇作者如何建構(gòu)語(yǔ)言學(xué)科知識(shí)。

　　傳統(tǒng)紙質(zhì)教材的編排依據(jù)話題內(nèi)容將學(xué)科知識(shí)按學(xué)習(xí)時(shí)間的先后順序進(jìn)行線性排列，傳統(tǒng)的語(yǔ)言教學(xué)通常也是遵循紙質(zhì)教材的編寫順序開(kāi)展教學(xué)。就概念意義而言，數(shù)字教材突出每個(gè)單元主題知識(shí)結(jié)構(gòu)的層級(jí)性，字體、字號(hào)和顏色都成為符號(hào)設(shè)計(jì)可資利用的資源。

　　學(xué)習(xí)界面顯示，粗體文字用來(lái)表示每一單元的根目錄，如“Learning Objectives”“Listening & Speaking” “Reading & Writing”，根目錄下面的子目錄字體相對(duì)較細(xì)，字號(hào)略小; 知識(shí)結(jié)構(gòu)的排列呈橫向和縱向排列，橫向排列的項(xiàng)目在任務(wù)類型和難度上具有相似性，均屬于同一語(yǔ)言技能導(dǎo)向的語(yǔ)篇，如聽(tīng)說(shuō)技能、閱讀技能等; 縱向排列由上至下按照語(yǔ)言知識(shí)從抽象到具體、從輸入性到輸出型語(yǔ)言技能的順序排列，學(xué)習(xí)任務(wù)難度依次遞增。

　　讀者點(diǎn)擊橙色按鈕，即可打開(kāi)下拉菜單，瀏覽具體語(yǔ)言功能對(duì)應(yīng)的句法結(jié)構(gòu)，符號(hào)設(shè)計(jì)者將語(yǔ)言系統(tǒng)的語(yǔ)義層與詞匯語(yǔ)法層的抽象“體現(xiàn)”( Realization) 關(guān)系以下拉菜單式嵌入結(jié)構(gòu)方式呈現(xiàn)。此外，顏色也是具有概念意義表征的模態(tài)，紫色代表一級(jí)目錄或根目錄，如篇章標(biāo)題或題目說(shuō)明以及語(yǔ)言文化方面的核心知識(shí)點(diǎn); 黑色表示根目錄下面的子目錄或二級(jí)目錄，如文章正文、功能句型范例和語(yǔ)法講解，是更詳細(xì)具體的知識(shí)點(diǎn); 鮮艷的橙色用來(lái)表達(dá)“可選擇”“可參考”或者“可控制”的概念意義，主要交際目的在于提醒、提示和啟發(fā)學(xué)習(xí)者。

　　( 二) 數(shù)字多模態(tài)教育語(yǔ)篇的人際關(guān)系建構(gòu)

　　教育技術(shù)重塑了數(shù)字教材的多模態(tài)話語(yǔ)。傳統(tǒng)紙質(zhì)課本為載體的課堂教學(xué)主要以教師為中心，教師主導(dǎo)學(xué)習(xí)進(jìn)度、掌握學(xué)生的學(xué)習(xí)情況，統(tǒng)一步調(diào); 而數(shù)字教材的設(shè)計(jì)更加符合“以學(xué)生為中心”的教學(xué)組織原則，學(xué)生可以自由選擇學(xué)習(xí)內(nèi)容、學(xué)習(xí)進(jìn)度和閱讀路徑，以及學(xué)習(xí)互動(dòng)和評(píng)價(jià)方式，有助于最大限度激發(fā)學(xué)習(xí)者的學(xué)習(xí)自主性，發(fā)揮學(xué)習(xí)者主觀能動(dòng)性。

　　從話語(yǔ)意義的人際功能看，多模態(tài)符號(hào)系統(tǒng)建構(gòu)了師生之間新型的人際關(guān)系。學(xué)習(xí)者界面的多模態(tài)話語(yǔ)意義的人際互動(dòng)主要表現(xiàn)為三個(gè)方面: 學(xué)習(xí)者與移動(dòng)學(xué)習(xí)終端的互動(dòng)、學(xué)習(xí)者與數(shù)字教材學(xué)習(xí)資源的互動(dòng)以及學(xué)生之間、師生之間的互動(dòng)。以與移動(dòng)學(xué)習(xí)終端，如手機(jī)、pad 或電腦屏幕的互動(dòng)為例，學(xué)習(xí)者點(diǎn)擊菜單按鈕，自由選擇閱讀路徑，也可以點(diǎn)擊“索引” 圖標(biāo)，定位導(dǎo)航學(xué)習(xí)內(nèi)容，用橫屏式翻頁(yè)模式進(jìn)行閱讀。再者，學(xué)習(xí)者與數(shù)字學(xué)習(xí)資源的互動(dòng)包括對(duì)話框、自主反饋和系統(tǒng)即時(shí)反饋三種方式。

　　學(xué)習(xí)者在閱讀材料過(guò)程中，可以點(diǎn)擊“錄音機(jī)” 功能按鈕進(jìn)行自主朗讀訓(xùn)練，當(dāng)對(duì)話框彈出“是否保存錄音”問(wèn)話時(shí)，學(xué)習(xí)者單擊“確定”，即可保存朗讀學(xué)習(xí)記錄。當(dāng)學(xué)習(xí)者聽(tīng)完對(duì)話錄音后，需將備選詞組或者短語(yǔ)拖動(dòng)到相應(yīng)的句子中方可完成練習(xí)，學(xué)習(xí)點(diǎn)擊“key”，屏幕上即刻彈出正確的答案或選項(xiàng)，學(xué)習(xí)者通過(guò)屏幕的自動(dòng)反饋了解學(xué)習(xí)效果。此外，系統(tǒng)具有即時(shí)反饋的功能，答案在學(xué)習(xí)者提交作業(yè)的同時(shí)即刻彈出，學(xué)習(xí)者可選擇反復(fù)多次練習(xí)。

　　同時(shí)，借助網(wǎng)絡(luò)學(xué)習(xí)社群，在學(xué)習(xí)者之間以及師生之間開(kāi)展以線上答疑、學(xué)習(xí)反饋、小組討論等多種形式的互動(dòng)交流，便于教師及時(shí)了解學(xué)習(xí)者的學(xué)習(xí)進(jìn)展和學(xué)習(xí)效果，從而構(gòu)建了以多媒體數(shù)字學(xué)習(xí)資源為依托的開(kāi)放、民主、和諧、平等的新型師生關(guān)系。

　　( 三) 模態(tài)間關(guān)系

　　多模態(tài)語(yǔ)篇的語(yǔ)篇意義指語(yǔ)篇與語(yǔ)境之間，語(yǔ)篇內(nèi)部不同部分之間的關(guān)系。模態(tài)間關(guān)系也是語(yǔ)篇意義的重要方面。語(yǔ)料分析顯示，語(yǔ)篇作者調(diào)用了書面文字、口語(yǔ)聲音、靜態(tài)圖像、動(dòng)畫、顏色和布局六種主要模態(tài)，模態(tài)間關(guān)系可大致概括為以下幾種類型:

　　1. 互補(bǔ)—非強(qiáng)化—協(xié)調(diào)關(guān)系

　　所謂模態(tài)互補(bǔ)，是指一種模態(tài)的話語(yǔ)不能充分表達(dá)完整的意義，需要借助另外一種模態(tài)來(lái)補(bǔ)充。互補(bǔ)關(guān)系又可細(xì)分為強(qiáng)化和非強(qiáng)化兩類; 在強(qiáng)化關(guān)系中，一種模態(tài)是主要的交際形式，而另一種或者多種模態(tài)形式是對(duì)它的強(qiáng)化或者輔助，如只提供背景信息; 而非強(qiáng)化關(guān)系中兩種模態(tài)缺一不可，互為補(bǔ)充。

　　在電子教材中，語(yǔ)言模態(tài)通常用于描述學(xué)習(xí)任務(wù)的具體要求和指令，圖像和文字模態(tài)協(xié)同補(bǔ)充新的語(yǔ)境信息。例如“贍養(yǎng)”“原告、被告”等詞匯向讀者暗示交際角色之間的人物關(guān)系( 父子、父女、兄妹、姐弟關(guān)系等) 、起訴的緣由( 子女拒絕承擔(dān)贍養(yǎng)父母的義務(wù)) 等語(yǔ)境要素，法官手上的法槌以及圖像中各個(gè)參與者的位置關(guān)系暗示人物身份地位及權(quán)力關(guān)系。法官位于圖像的中心位置，是審理訴訟案件的核心關(guān)鍵人物，法官是“法律”“正義公平”的象征，在法庭交際語(yǔ)境中，其權(quán)力地位遠(yuǎn)遠(yuǎn)高于“原告”和“被告”雙方，且雙方在法庭審判語(yǔ)境中所處的身份地位是處于有矛盾沖突的平等雙方。在教學(xué)語(yǔ)境中，語(yǔ)言模態(tài)和圖像模態(tài)協(xié)同作用，兩者缺一不可，目的在于幫助學(xué)習(xí)者充分理解學(xué)習(xí)任務(wù)的細(xì)節(jié)信息，以確保其順利完成學(xué)習(xí)任務(wù)，這對(duì)學(xué)習(xí)者的多模態(tài)讀寫能力提出了更高要求。

　　2. 非互補(bǔ)—內(nèi)包關(guān)系

　　非互補(bǔ)關(guān)系表示第二種模態(tài)對(duì)第一種在意義的體現(xiàn)上并沒(méi)有大的貢獻(xiàn)，但仍然作為一種模態(tài)出現(xiàn)。非互補(bǔ)關(guān)系下面又可分為三大子類: 內(nèi)包、交疊和語(yǔ)境交互。內(nèi)包關(guān)系即多種不同或者同種模態(tài)，對(duì)整體意義的表達(dá)沒(méi)有新的貢獻(xiàn)，而只給予更加具體的信息。內(nèi)包又可細(xì)分為整體與部分和抽象與具體兩種關(guān)系。

　　以“提倡人們將廢物循環(huán)再利用”為環(huán)保主題的語(yǔ)篇為例，位于圖像顯著位置的是一只用廢棄垃圾做成的花瓶，整篇文章是而圖像與文中的“vases made from glass bottles”這個(gè)名詞短語(yǔ)形成“語(yǔ)義同指關(guān)系 ( semantic co-reference) ”。圖像模態(tài)提供的只是部分信息，對(duì)語(yǔ)篇整體意義的表達(dá)沒(méi)有貢獻(xiàn)。下面舉一個(gè)內(nèi)包關(guān)系的例子，如當(dāng)前的學(xué)習(xí)任務(wù)是“要求為人力資源部經(jīng)理寫一份英語(yǔ)會(huì)議紀(jì)要”，書面文字仍是主要交際模態(tài)，語(yǔ)篇作者調(diào)用語(yǔ)言文字和圖像模態(tài)為學(xué)習(xí)者創(chuàng)設(shè)虛擬的目的語(yǔ)交際語(yǔ)境，即圖像模態(tài)沒(méi)有附加任何語(yǔ)義信息，而是將交際場(chǎng)景和交際目的更加具體化，用寫作工具( 紙、筆、電腦) 和寫作環(huán)境( 咖啡杯、辦公室) 來(lái)隱喻表征寫作過(guò)程和寫作結(jié)果，屬于從抽象到具體的內(nèi)包關(guān)系。

　　3. 非互補(bǔ)—依賴型情境交互關(guān)系

　　文字與圖像也會(huì)呈現(xiàn)“非互補(bǔ)”關(guān)系。語(yǔ)篇在結(jié)尾段落中提出論點(diǎn)，“hard work and relaxation make a well-balanced lifestyle”，而“天平”圖像與文章整個(gè)段落在語(yǔ)義上構(gòu)成同指呼應(yīng)，與“天平”相關(guān)的語(yǔ)義要素進(jìn)入語(yǔ)篇的整體語(yǔ)義域中，語(yǔ)篇呈現(xiàn)出較強(qiáng)的情境依賴性; 而圖片下方的瑜伽運(yùn)動(dòng)是對(duì)文段中“relax”詞匯的具體實(shí)例化，也與左圖中的部分圖像信息形成語(yǔ)義的上下義關(guān)系。

　　4. 互補(bǔ)關(guān)系與非互補(bǔ)關(guān)系的矛盾共現(xiàn)

　　研究發(fā)現(xiàn)，互補(bǔ)關(guān)系與非互補(bǔ)關(guān)系也會(huì)出現(xiàn)在同一語(yǔ)篇中。例如第四冊(cè)教材第七單元的聽(tīng)力材料是一篇有關(guān)“法律訴訟案件”的對(duì)話，整個(gè)多模態(tài)語(yǔ)篇運(yùn)用了文字、聲音和圖像三種模態(tài)。書面文字仍是主要的交際模態(tài)，圖像顯示的是被告與律師之間的交談現(xiàn)場(chǎng)，用于輔助書面文字和對(duì)話聲音的口語(yǔ)材料，提供交際語(yǔ)境要素，如交際環(huán)境( 律所辦公室) 、法官判案工具( 法典和法槌) 等，因而圖像與文字之間，以及圖像與聲音模態(tài)之間都表現(xiàn)為“互補(bǔ)—強(qiáng)化—突出” 關(guān)系，即突出文字模態(tài)，而圖像只是提供背景信息。

　　然而，聲音與書面文字模態(tài)使用不同的模態(tài)表達(dá)相同的語(yǔ)義，兩者呈現(xiàn)“非互補(bǔ)—交疊—冗余”關(guān)系，若任去其一，都可以與圖像模態(tài)完整地表達(dá)意義。但是從二語(yǔ)學(xué)習(xí)和外語(yǔ)教學(xué)的角度來(lái)看，語(yǔ)篇作者將兩種冗余的模態(tài)用于教學(xué)多模態(tài)語(yǔ)篇，其目的可能在于對(duì)二語(yǔ)學(xué)習(xí)者進(jìn)行聽(tīng)覺(jué)語(yǔ)音、視覺(jué)圖像、視覺(jué)文字的多感官協(xié)同刺激，提供豐富的語(yǔ)言交際情境，有助于強(qiáng)化學(xué)習(xí)者對(duì)語(yǔ)篇的理解和意義建構(gòu)，從而間接影響二語(yǔ)輸出質(zhì)量和二語(yǔ)學(xué)習(xí)效果。

　　四、教學(xué)啟示

　　當(dāng)今世界，隨著經(jīng)濟(jì)貿(mào)易全球化、交際媒介多元化、語(yǔ)言文化多樣化趨勢(shì)的日益加劇，培養(yǎng)掌握多種語(yǔ)言、具備多元讀寫能力、跨文化視野和國(guó)際競(jìng)爭(zhēng)力的專業(yè)人才是我國(guó)當(dāng)下外語(yǔ)教育的使命和擔(dān)當(dāng)。

　　1996 年《多元讀寫教育學(xué): 設(shè)計(jì)社會(huì)未來(lái)》 ( New London Group，以下縮寫為 NLG) 發(fā)表以來(lái)，多元讀寫成為教育學(xué)與多模態(tài)研究的熱點(diǎn)。多元讀寫教學(xué)法包含四個(gè)要素: 實(shí)景實(shí)踐( situated practice) ，即英語(yǔ)教學(xué)應(yīng)置于真實(shí)的語(yǔ)境中; 明確指導(dǎo)( overt instruction) ，即課堂上教師應(yīng)使用多模態(tài)設(shè)計(jì)的元語(yǔ)言系統(tǒng)對(duì)學(xué)生進(jìn)行明確指導(dǎo)，解釋如何運(yùn)用語(yǔ)言、手勢(shì)、聲音和圖像等符號(hào)設(shè)計(jì)資源，在真實(shí)語(yǔ)境中創(chuàng)造性地建構(gòu)意義; 批評(píng)框定( critical framing) ，即教師運(yùn)用有效的語(yǔ)言學(xué)理論和方法，培養(yǎng)學(xué)生理性分析教材中蘊(yùn)含的文化、價(jià)值和意識(shí)形態(tài); 轉(zhuǎn)換實(shí)踐( transformed practice) ，即學(xué)生在新的社會(huì)文化語(yǔ)境中，熟練運(yùn)用所學(xué)知識(shí)、創(chuàng)造性地解決新問(wèn)題，并在此過(guò)程中培養(yǎng)獨(dú)立建構(gòu)多模態(tài)語(yǔ)篇的能力，即多元讀寫能力[36]88 。

　　多元讀寫教學(xué)法所主導(dǎo)的課程設(shè)計(jì)不僅包括教師的言語(yǔ)、語(yǔ)言、肢體、手勢(shì)語(yǔ)及書面語(yǔ)言，還包括使用道具、圖像、PPT 等非言語(yǔ)資源，數(shù)字教材也是課程設(shè)計(jì)的重要組成部分。NLG 認(rèn)為，“任何制造意義的過(guò)程，都是設(shè)計(jì)行為”[36]65 。教學(xué)過(guò)程中，教師和學(xué)生都是意義的制造者，他們既是符號(hào)實(shí)踐活動(dòng)的設(shè)計(jì)者，也是教學(xué)實(shí)踐活動(dòng)的參與者。閱讀、寫作、教材編寫過(guò)程都被視為多模態(tài)設(shè)計(jì)過(guò)程，也是社會(huì)實(shí)踐的反映。數(shù)字教材編寫者及開(kāi)發(fā)團(tuán)隊(duì)在符號(hào)設(shè)計(jì)方面，應(yīng)充分挖掘不同模態(tài)的符號(hào)“供用特征”( affordances) ，即分析它們?cè)谝饬x表達(dá)方面的優(yōu)勢(shì)、特長(zhǎng)和局限性，為學(xué)習(xí)者創(chuàng)設(shè)貼近真實(shí)生活體驗(yàn)的交際語(yǔ)境和學(xué)習(xí)情境，構(gòu)建開(kāi)放、民主、平等、和諧的新型師生關(guān)系，為學(xué)習(xí)者開(kāi)展自主學(xué)習(xí)搭建“腳手架”。

　　在導(dǎo)學(xué)環(huán)節(jié)，建議教師有必要給學(xué)習(xí)者講解教材中不同符號(hào)模態(tài)的概念表征意義、人際互動(dòng)意義、組篇意義以及不同模態(tài)間的相互關(guān)系，運(yùn)用“元語(yǔ)言” ( metalanguage) 系統(tǒng)加以明確指導(dǎo)，幫助學(xué)生迅速把握課程的學(xué)科知識(shí)結(jié)構(gòu)，以便開(kāi)展個(gè)性化自主學(xué)習(xí); 教學(xué)過(guò)程中應(yīng)注重培養(yǎng)學(xué)習(xí)者的批評(píng)分析能力，辨別教材中的價(jià)值觀和意識(shí)形態(tài); 培養(yǎng)閱讀各種媒體和模態(tài)信息，如互動(dòng)的多媒體教材，并能循此生成相應(yīng)的多模態(tài)文本的能力，掌握不同模態(tài)符號(hào)的設(shè)計(jì)原則，利用可資獲得的設(shè)計(jì)資源，生成新的設(shè)計(jì)和意義。

　　隨著教育信息化 3. 0 的不斷深入和媒體技術(shù)發(fā)展的日新月異，數(shù)字教材的開(kāi)發(fā)和研究也會(huì)朝著進(jìn)一步智能化、多元化的方向延伸和發(fā)展，我國(guó)外語(yǔ)教師應(yīng)不斷提升自身利用現(xiàn)代教育技術(shù)開(kāi)展教學(xué)的能力，更要加強(qiáng)多模態(tài)符號(hào)設(shè)計(jì)能力和語(yǔ)言學(xué)、社會(huì)符號(hào)學(xué)等多學(xué)科理論的學(xué)習(xí)和提升，注重培養(yǎng)學(xué)習(xí)者的多元讀寫能力，迎接數(shù)字革命給我們帶來(lái)的機(jī)遇和挑戰(zhàn)。