面向學生過程表現的協作問題解決能力評估研究

　　來源：中國電化教育 2022年7期

　　作者：吳斕; 余勝泉; 駢揚; 劉陽

　　摘要：立德樹人，促進學生全面發展是新時代教育評價改革的宗旨，踐行全面發展評價觀基于學生全學習過程數據，為此需要借助信息技術實現對過程行為數據的自動采集和分析，提高評估的效率和準確性。該研究以協作問題解決能力為評估對象，探索信息技術創新評估工具的實踐路徑。在“評估三角”理論的指導下，首先從協作問題解決能力“多維-交互”的本質出發構建三維能力評估框架;其次，依托PSAA平臺設計和開發基于過程數據流的協作問題解決能力自動化評估系統，實現集觸發行為、采集行為、編碼行為、推斷能力和報告結果于一體的評估流程，并設計了對過程行為數據特別是會話內容質性特征的自動編碼模型;最后，以B市140名初中生為實驗對象驗證了該評估系統的有效性、有用性和易用性。未來還需不斷融合新理論和新技術改進和創新測評方法和工具，助推面向學生過程表現的核心素養評估的落地。

　　關鍵詞：協作問題解決能力評估;人人協作;過程數據流

　　* 本文受北京市教育科學“十四五”規劃優先關注課題“人工智能教育應用體系構建研究”(課題編號：3020-0058)資助。

　　一、引言

　　2020年10月，中共中央、國務院印發《深化新時代教育評價改革總體方案》明確指出新時代教育評價改革方向，要以立德樹人為主線，扭轉不科學的教育評價導向，關注學生全面發展[1]。2021年7月，教育部等多部門聯合印發《關于推進教育新型基礎設施建設構建高質量教育支撐體系的指導意見》，其中強調要利用大數據、人工智能等新一代信息技術創新評價工具，尤其在評價手段、內容等方面作出明確指示，包括開發能夠記錄學生學習過程表現，支撐學生德智體美勞全要素評價的工具[2]。

　　破除“五唯”，立足全面發展評價觀，其背后的邏輯思路是將評價工作融入育人的每個環節，全方位記錄不同場景下學生日常行為表現，基于過程數據的分析與挖掘評估學生各項能力的發展狀況。由于數據來源豐富，數據量龐大且結構復雜，對評價技術也提出較高要求。因此，需要以信息技術為支撐實現評價工具的數字化和智能化，實現自動采集過程行為數據、實時分析數據和產生可視化評估報告等[3]，是新時代教育評價改革的重要突破口。

　　本研究將以協作問題解決能力作為研究對象，探索如何借助信息技術創新育人評價工具。首先，協作問題解決能力(Collaborative Problem Solving， CPS)是人類學習、工作和生活中不可或缺的一項重要技能，被世界各國列入21世紀學生核心素養框架中[4]。為此，有必要開展常態化、大規模的評估，有效測量學生此項能力發展水平，支持教師進行針對性反饋與干預，助力學生協作問題解決能力水平的提升[5]。其次，PISA(Programme for International Student Assessment，以下簡稱 PISA)和ATC21S(Assessment and Teaching of 21st Century Skills，以下簡稱 ATC21S)率先于2015年發起面向全球中學生的大規模測評項目，正式推動基于計算機的協作問題解決能力評估實踐。隨著實踐深入，一些影響評估過程和結果的關鍵問題亟待解決，包括如何在多維度上輸出結果以表征能力的復雜結構、如何降低協作過程中同伴對被試真實水平產生影響、以及如何實現對過程行為數據(特別是協作會話質性特征)的自動編碼等等[6][7]。

　　基于此，本研究試圖探索基于過程數據流的協作問題解決能力自動化評估方法，實現從個體在測評系統中產生的過程行為數據(點擊流數據和會話數據)中自動抽取評估證據，結合該能力的復雜結構在多維度上輸出個體的能力表現，并采取措施控制同伴對個體的影響，保證評估結果的科學性和有效性。該研究是助推全面發展評價觀落地，創新育人評價工具方面的一個典型實踐案例，為后續實現面向學生過程表現的德智體美勞全要素的評價提供了可借鑒的實踐經驗。

　　二、協作問題解決能力評估研究進展及關鍵問題

　　(一)協作問題解決能力

　　協作問題解決能力是個體與同伴協作解決復雜問題過程中所展現的能力[8]，是一個由多種子技能組成的復雜技能集[9]，包括認知的、社會的、動機情感等多方面技能[10]。因此，該能力具有復雜性和多維性特征[11]。大多數研究將協作問題解決能力作為認知性和社會性兩方面技能的交互結果。最早由O’Neil等人于2003年確定了協作問題解決能力評估框架的兩大維度——“問題解決”(Problem Solving)和“協作”(Collaboration)，其中“問題解決”維度包括內容理解、問題解決策略和自我調節，“協作”維度包括適應能力、協調能力、決策能力、人際交往能力、領導力和溝通能力[12]，該框架為后續一系列研究奠定理論基礎。PISA2015項目通過四種問題解決技能(Problem-Solving Proficiency)(探究和理解、表征和系統化、計劃和執行、監控和反思)與三種協作技能(Collaboration Proficiency)(建立和維持共識、采取合適的行動解決問題、建立和維持團隊的組織形式)的交叉，生成4*3矩陣形式的協作問題解決能力評估框架。ATC21S項目也將協作問題解決能力劃分為“社交技能”(Social Skills)和“認知技能”(Cognitive Skills)[13]，其中“社交技能”包括參與、觀點獲取和社會調節;“認知技能”包括任務調節、學習與知識建構。

　　目前為止，協作問題解決能力評估框架主要以“認知-社會”二維結構為主，近年來隨著對學生非認知表現的關注，不少研究指出動機情感、自我調節等會影響個體的協作問題解決能力[14][15]，因此該能力的評估框架有待進一步拓展。由于該能力具有復雜結構，如果只生成單一維度的能力值會過分窄化評估信息[16]，不利于指導教育教學，而且協作問題解決過程中，各能力維度之間可能存在交互作用[17]，因此，在評估協作問題解決能力時需要綜合考慮“多維-交互”特點，這為評估工作帶來一定的挑戰性。

　　(二)基于過程數據流的協作問題解決能力評估

　　基于計算機的測評方式能夠創設豐富的協作型任務情境，以非侵入方式采集學生自然狀態下的過程行為表現，并以過程數據流的形式存儲在日志文件中，支持面向學生過程表現的核心素養和關鍵能力的評估[18][19]，因而在教育評估領域內備受關注。根據協作同伴的類型不同，基于計算機的協作問題解決能力評估主要包括兩種形式——人機協作和人人協作，分別以PISA2015和ATC21S兩大項目為典型代表。國內有學者已從合作方式、對話交流類型、合作證據等方面進行了對比和闡述[20]，本研究主要聚焦于兩種評估形式中采用的基于過程數據流的評估方法。

　　人機協作中的同伴是基于腳本的計算機代理，學生與計算機代理的交流過程是預先定義的，以PISA2015項目為例，每次任務包括多道試題，為完成每道試題，學生需要與代理進行多輪會話，每個話輪以單選題形式呈現，學生需選出自己認為最適合的選項，代理則根據學生選擇結果提供不同回復。測試系統包括“會話區”和“任務區”，“會話區”記錄學生每輪會話的選擇結果，“任務區”會記錄學生的點擊行為，例如是否點擊了正確的鏈接，拖拽圖標的先后順序等。評估系統會事先確定編碼規則，將每一輪會話的不同選項和“任務區”的點擊行為進行組合，關聯到不同的評估指標以及獲得相應的分值，根據學生在“會話區”和“任務區”的作答結果，自動獲取關聯的評估指標及分數，學生完成測試后系統自動統計所有評估指標的總分，最后線下基于心理測量模型估計能力值[21]。人機協作的評估方法通過事先定義會話內容以及每一輪會話關聯的評估指標，實現基于學生的過程表現自動化累積不同評估指標的得分，便于操作和支持大規模應用。此外，基于腳本定義虛擬同伴的性格特點，能夠有效控制評估過程和消除同伴對個體表現的影響[22]。但不足之處是由于技術所限，虛擬同伴還無法真正替代真實的人類伙伴，難以保證獲得的是個體在真實情境中的表現，進而影響評估結果的準確性。

　　人人協作中的同伴是真實的人，這種評估方式更接近真實生活，但難以控制，協作過程中會涌現大量豐富的過程行為數據，尤其是在線會話類數據，機器難以理解會話內容，使得從過程數據流中抽取評估證據存在較大困難。以ATC21S項目為例，測試系統包括“會話區”和“任務區”，“會話區”實時記錄學生與同伴在線交流的消息，以文本形式存儲在日志文件中，“任務區”中以“行為事件”形式記錄學生各類操作行為，包括輸入、點擊、拖拽、移動、懸停等，以事件的形式存儲在日志文件中?；陬A先設計的編碼規則，系統將不同類型的事件轉化為具有評估意義的行為指標，并基于事件發生的次數或時長等為行為指標賦予分值，最后將行為指標關聯到不同的評估指標上，這些行為指標就好比傳統測試中的試題，每個行為指標基于編碼規則得到分值，類似于學生在每道測試題上的得分，最后也是在線下利用心理測量模型估計能力值。由于ATC21S項目是跨國性測評，需要進行不同國家語言的轉換，因此沒有考慮會話內容的分析，導致大量有價值的評估證據流失。此外，在小組構成方面較為單一，該項目采取的是兩兩協作的方式，學生自始至終和同一位同伴完成四個不同的評估任務，協作情境具有一定的局限性，難以平衡不同類型同伴對個體表現的影響[23][24]。

　　目前，面向大規模的評估工具主要以記錄學生在測評系統中產生的點擊流數據和會話數據為主。要實現基于計算機的自動化評估包括三個關鍵環節：創設協作任務情境觸發個體產生表征能力的行為數據，從過程性數據中抽取評估證據以及基于心理測量模型估計能力值。由于人機協作和人人協作各自的測試結構不同，導致基于過程數據流的評估思路完全不同。人機協作需要預先定義會話路徑，以及每輪會話和任務作答結果關聯的評估指標，而人人協作則需要預先在系統中進行數據埋點以實時記錄個體的過程行為表現，基于預先定義的編碼規則從過程數據流中抽取行為指標，并關聯不同的評估指標。但是，PISA2015和ATC21S項目沒有完全實現基于過程數據流的自動化評估，其中基于心理測量模型估計個體能力值是在線下完成的，這樣容易導致評估周期拉長，評估結果反饋延時，不利于支持教師及時改進教學和促使學生自我反思。因此，需要減少評估流程中的人工干預，實現數據的自動化采集和分析。

　　本研究將探究人人協作評估模式下，基于過程數據流的協作問題解決能力自動化評估方法。打通評估過程中的數據流回路，串起“線上數據編碼”和“線下估計能力值”的環節，打造“測試-報告-改進”一體化評估系統，提高評估效率和實現及時反饋。此外，在線會話內容中蘊含著大量能夠表征個體團隊意識、認知水平的評估證據，如果在評估過程中增加會話內容的分析能夠極大提高評估結果的科學性和準確性。本研究將結合我國學生的協作特點增加對會話數據質性特征的分析，以期提高評估結果的科學性和準確性，更加全面細致地反映個體的過程表現。

　　三、基于過程數據流的協作問題解決能力自動化評估方法

　　為保證評估流程的科學性和有效性，本研究依賴能力評估的基礎——“評估三角”(Assessment Triangle)，該理論強調“基于證據進行推理”。三角形的三個頂點分別代表能力評估的三個核心環節——認知、觀察和解釋(Cognition， Observation， Interpretation)。“認知”即明確能力評估框架;“觀察”即在特定情境中獲取表征個體能力水平的外顯行為;“解釋”即基于心理測量模型或統計方法推斷個體能力水平 [25][26]。

　　基于“評估三角”理論，本研究設計了基于過程數據流的協作問題解決能力自動化評估框架。如圖1所示，首先，構建協作問題解決能力評估框架，明確評估對象;接著，基于能力評估框架設計評估任務，在評估系統中進行數據埋點，確保能夠采集個體在任務過程中產生的一系列行為表現[27];在評估過程中實時采集個體產生的點擊流數據和會話數據;然后，基于預先定義的證據編碼規則，從原始數據中抽取具有等級意義的評估指標;最后，基于心理測量模型推斷個體能力值，以可視化報告形式輸出評估結果。下面從評估框架、系統設計、評估方法三個方面介紹如何實現基于過程數據流的協作問題解決能力自動化評估。

　　推薦閱讀：電化教育期刊有哪些