認知診斷評估是新一代的心理和教育測量理論,是形成性評價、過程性評價、教育診斷干預落實的重要方法。本書從理論與實踐、認知模型與統(tǒng)計模型、進展與展望、抽象與具體、理論與通俗、學習與研究等多個不同的角度進行設計,系統(tǒng)地介紹了認知診斷評估的歷史發(fā)展和核心概念、指導認知心理學和教育測量融合的思想和例子、認知診斷測驗設計和分析的原則、診斷分類模型和參數(shù)估計、認知診斷評估的軟件實施等,本書對高校心理、教育方向?qū)I(yè)人員、中小學從事教育評價工作的人員、各學科的教研員以及廣大的一線教育工作者都是重要的參考。
以學習診斷促進學生發(fā)展是當前我國教育評價改革的政策導向與重點要求?茖W的學習診斷需要從認知診斷評估這一學科中尋求堅實的理論依據(jù),以提升學習診斷的系統(tǒng)研究與科學論證水平。本書構建了較為科學嚴謹?shù)膶W科知識體系,注重理論方法與實踐應用相結合,介紹了認知診斷測驗的開發(fā)以及多種認知診斷評估統(tǒng)計軟件的使用方法,以豐富的案例和數(shù)據(jù)分析為學生發(fā)展提供深層次的、普遍的認知規(guī)律,服務于我國教育評價改革與教育質(zhì)量提升的重大現(xiàn)實需求。
自 序
在本書中,我們要研究的是心理和教育評估中的認知診斷 評估,運用認知診斷評估面向中小學生開展學習診斷和教學 干 預 。
縱觀心理和教育測量理論的發(fā)展,我們可以將其分為經(jīng)典 測驗理論階段和現(xiàn)代測驗理論階段,F(xiàn)代測驗理論以潛變量模 型為核心構建和拓展測驗的功能、分析框架,為現(xiàn)代教育評價 做出了重要貢獻。認知診斷評估是處于現(xiàn)代測驗理論階段的一 種類型的評價或測量,即通過心理測驗獲得可直接觀察的個體 測驗作答反應,然后借助心理計量學的統(tǒng)計模型,識別個體所 屬的認知技能類別(知識結構),從而提取教學和學習的診斷信 息,以便更有針對性地促進教學和學習。認知診斷評估是一門 年輕的學科,明確提出認知診斷評估理論的研究文獻可以追溯 到20世紀80年代,雖然僅有40余年的發(fā)展歷程,但是經(jīng)過不 斷發(fā)展和研究積累,該領域已經(jīng)形成了一個學術共同體,以及 相對全面的、系統(tǒng)的、精細的、跨學科的專業(yè)知識內(nèi)容和結構。 認知診斷評估運用的機制是認知心理學和心理計量學模型的有 機結合,因此近年也被稱為新一代心理測驗理論。
自21世紀初期以來,認知診斷評估這一領域的研究開始在 我國興起。我國在認知診斷評估40余年的發(fā)展歷程中的作用不 容忽視。國內(nèi)研究者在認知診斷模型的開發(fā)、參數(shù)估計方法、 模型—數(shù)據(jù)擬合評價,以及實踐應用等方面做出了重要的研究 貢獻。目前,全國范圍內(nèi)多所高等院校紛紛開始將認知診斷評 估作為一門研究生課程。幫助學生建立系統(tǒng)全面的專業(yè)基礎知 識、科學嚴謹?shù)难芯窟壿、前瞻前沿的研究視野,需要豐富和 提升學生接受的教育內(nèi)容和教育質(zhì)量,而教材建設是關鍵。我 們通過文獻資料檢索可以發(fā)現(xiàn),近10年來由我國研究者編著的 各類認知診斷評估理論和實踐教材不斷涌現(xiàn),如《教育認知診斷 評估:理論與技術研究》《認知診斷評價:理論基礎》《高級認知
2
中小學生認知診斷評估
診斷》《認知診斷理論、方法與應用》《英語閱讀能力的認知診斷研究》等。但是, 這些教材傳遞的學科知識內(nèi)容在新的學科發(fā)展階段和背景下,還有進一步的發(fā)展 空間。教材的質(zhì)量提升應該立足于認知診斷評估的深厚歷史、龐大的學科群體、 精細的學科體系之中。鑒于國內(nèi)外認知診斷評估社會歷史發(fā)展條件的變革、學科 研究體系的不斷拓展,認知診斷評估相關教材仍有必要在認知診斷評估的理論基 礎、技術方法和軟件應用的深入講述之外,全面系統(tǒng)總結認知診斷評估本身的歷 史發(fā)展脈絡、認知診斷模型的開發(fā)方法、常用的統(tǒng)計軟件實施,以及認知診斷評 估的理論演進趨勢。
第一,正如美國《不讓一個孩子落后法案》對認知診斷評估這一學科發(fā)展的影 響,近年我國教育政策關于課堂教學與評價改革方面的新變化,對推動我國認知 診斷評估的學術研究和學科發(fā)展產(chǎn)生了重要影響。2019年6月,中共中央、國務 院印發(fā)的《關于深化教育教學改革全面提高義務教育質(zhì)量的意見》提出“精準分析 學情,重視差異化教學和個別化指導”的要求。2020年10月,中共中央、國務院 印發(fā)的《深化新時代教育評價改革總體方案》提出“完善評價結果運用,綜合發(fā)揮 導向、鑒定、診斷、調(diào)控和改進作用”的要求。借鑒國際上認知診斷評估這一研 究領域的發(fā)展趨勢和特征,將認知診斷評估的理論和實踐研究與國家教育政策、 課程、教學和評價深度融合,是全面提高義務教育質(zhì)量的一個重要途徑,有必要 在新的社會歷史發(fā)展條件下,深化相關的理論和實踐研究,以促進學科發(fā)展和提 高教育質(zhì)量。我國基礎教育發(fā)展現(xiàn)實需求的深刻變化不僅促使學科研究的深化, 而且對于高等院校人才培養(yǎng)也提出了更高的要求。因此,更高質(zhì)量的教材建設成 為當前的重要需求。教材建設是我國認知診斷評估學科發(fā)展的重要基礎,高質(zhì)量 的教材是培養(yǎng)高質(zhì)量學生的必備條件,也是教師高質(zhì)量教學的重要參考?梢娊 材建設對設立認知診斷評估課程、培養(yǎng)教育評價專門人才具有重要意義。
第二,國際上認知診斷評估的學科發(fā)展高度重視多元化的教材建設、發(fā)展和 完善。在認知診斷評估學科發(fā)展的不同歷史階段,國際學界都重視教材建設以加 強認知診斷評估的學科地位,引起廣泛的積極討論共建,總結系統(tǒng)的領域發(fā)展成 果等。當前,國際學界公開出版了多種相關的專業(yè)課程教材,各有側重并形成了 比較全面的體系。早期的認知診斷評估教材是關于研討會的理論和實踐匯編,雖 然還較少地真正把認知模型、測驗任務和心理計量學模型結合起來進行系統(tǒng)研 究,但是對于加強認知診斷評估的學科地位,引起廣泛的深入研究,明確學科的 發(fā)展方向起著積極的推動作用。隨著認知診斷評估理論的不斷發(fā)展,出現(xiàn)了更多 以測驗為中心的傳統(tǒng)意義上的認知診斷評估教材。有的教材側重以“認知”為中 心,構建認知診斷評估的理論和方法體系;有的教材側重以“認知診斷模型”為中 心,構建基于模型的認知診斷評估方法,并將認知診斷評估與更大的潛變量模型 框架進行整合,全面介紹認知診斷模型和軟件實施,以推動實踐應用的深入發(fā) 展;還有教材以認知診斷評估理論和實踐的研究發(fā)展為主要內(nèi)容,以該學科中形 成的重要研究主題和領域為組織脈絡,系統(tǒng)總結該學科當前重要的研究內(nèi)容、研
究方法、研究成果和實踐應用,為在比較成熟的框架體系下的學科未來發(fā)展提供 了重要的系統(tǒng)梳理,扮演著這一學科的指向標和百科全書的重要角色。
鑒于上述情況,我們提出了學習和借鑒國內(nèi)外當前使用頻率較高的教材,編 寫綜合性的、以實踐應用為中心的通識教材的計劃,希望將大容量的學科專業(yè)知 識體系,以更具歷史發(fā)展縱深的線索,更具理論和實踐結合性的體系進行全面的 梳理總結,體現(xiàn)新材料的增加、思考層次的深入和方向上的重大轉(zhuǎn)變,提高認知 診斷評估教材的可讀性和通俗性,強化其知識體系的系統(tǒng)性,促進認知診斷評估 與國家教育政策、課程、教學和評價重要需求的深度融合。為此,我們在教材的 內(nèi)容選擇、寫作方式上盡力做到認知模型、心理計量學模型、模型—數(shù)據(jù)的擬合 評價、測量學軟件實施、實踐應用,以及前沿進展等重要方面的全面總結和系統(tǒng) 梳理,力求實現(xiàn)理論和實踐的深度融合,在實踐中認識理論的價值,并用理論指 導實踐的發(fā)展。通過我們的努力和這套教材的推廣,我們期望能夠為我國認知診 斷評估的學科課程建設盡綿薄之力。
然而,面對認知診斷評估這一學科的迅速發(fā)展、高度專業(yè)的交叉學科知識體 系,將認知診斷評估的全貌和新貌準確、通俗地介紹給廣大的心理和教育測量的 理論研究和實踐從業(yè)人員,是寫作過程中面臨的極大挑戰(zhàn),這不僅在于需要收集 大量全面的、系統(tǒng)的文獻資料,而且在于專業(yè)內(nèi)容的閱讀、理解、把握、準確表 達,以及加工呈現(xiàn),還在于編排整理、圖表制作等大量的編輯方面的工作。囿于 知識和精力有限,雖然竭盡全力反復校對、修訂,但是書中難免存在一些疏漏, 懇請讀者們不吝指正,幫助我們將這本書進一步完善,在此我們表示衷心的 感 謝 。
感謝北京師范大學出版社的編輯老師在體例、排版、校對、圖表等諸多方面 的細致工作和大力支持與幫助,他們使得本書不斷完善,得以出版。本書得到國 家社會科學基金的大力支持,在此表示深深的感謝。
田偉 辛濤
2024年12月于北京師范大學
田偉,北京師范大學中國基礎教育質(zhì)量監(jiān)測協(xié)同創(chuàng)新中心副教授
目 錄
第 一 章 認 知 診 斷 評 估 導 論
第一節(jié) 走進認知診斷評估 1
一 、心理診斷評估的理念方法 1
二、認知診斷評估的概念界定 1
三 、認知診斷評估的研究內(nèi)容 3
四 、認知診斷評估的學科性質(zhì) 5
五、認知診斷評估的主要作用 6
第二節(jié) 認知診斷評估的學科發(fā)展 8
一 、三個主要社會驅(qū)動因素 8
二、三個歷史發(fā)展階段及其特征 10
第三節(jié) 認知診斷評估的實踐實施 14
一 、認知診斷評估實施的基本過程 14
二、認知診斷評估實施的研究支持 19
三、認知診斷評估實施的研究資源 21
第 二 章 測驗導向的認知理論基礎
第一節(jié) 認知模型的概念基礎 24
一 、認知模型的意義、作用和必要性 24
二、認知模型的定義和類型 25
三、屬性層級關系 26
四、認知模型的粒度 28
第二節(jié) 認知模型的開發(fā)和驗證 29
一 、認知模型開發(fā)和驗證過程 30
二、認知模型效度驗證的方法 30
三、認知模型的開發(fā)和驗證實例 37
第三節(jié) 不同學科領域的測驗任務認知模型 42
一 、數(shù)學領域 43
二、科學領域 48
2 中小學生認知診斷評估
三、語言測試領域 50
第 三 章 Q 矩 陣 理 論 及 其 關 鍵 問 題
第一節(jié) Q矩陣的理論和實踐基礎 53
一 、Q矩陣的概念基礎 53
二、Q矩陣的開發(fā) 54
三 、Q矩陣的錯誤標定 56
第二節(jié) Q矩陣理論及其關鍵作用 56
一 、Q矩陣理論中的核心概念 56
二、Q矩陣理論的關鍵作用 59
第三節(jié) Q 矩 陣 設 計 64
一 、可達矩陣R 的重要作用 65
二 、Q矩陣設計的主要考慮因素 65
三、Q矩陣設計和認知診斷模型可識別性 66
第四節(jié) Q矩陣驗證和估計的統(tǒng)計方法 67
一 、Q矩陣的驗證 67
二 、Q矩陣的估計 70
第 四 章 認 知 診 斷 測 驗 開 發(fā)
第一節(jié) 傳統(tǒng)測驗開發(fā) 72
一 、傳統(tǒng)測驗開發(fā)的邏輯 72
二 、傳統(tǒng)測驗開發(fā)的過程 73
三 、傳統(tǒng)測驗開發(fā)的特點 77
第二節(jié) 原則性方法在認知診斷評估中的應用 79
一 、教育評估是一種證據(jù)論證過程 79
二 、原則性方法的核心共同要素 81
三 、認知診斷評估中的原則性方法 84
四 、證據(jù)中心設計的實踐應用 86
第三節(jié) 認知診斷測驗開發(fā) 91
一 、認知診斷測驗的質(zhì)量評價標準 91
二 、認知診斷測驗開發(fā)的五個步驟 101
三 、認知診斷測驗開發(fā)的主要成分 102
第四節(jié) 認知診斷測驗的效度驗證 106
一 、測驗效度的概念內(nèi)涵 107
目 錄 3
二、效度理論的發(fā)展變化 107
三、構念效度的驗證框架 110
四、構念效度的驗證方法 116
第 五 章 認 知 診 斷 模 型
第 一 節(jié) 認知診斷模型概述 118
一 、認知診斷模型的主要特征 118
二、認知診斷模型的廣義框架 120
三、認知診斷模型的實踐選擇 121
第二節(jié) 具體的認知診斷模型 122
一 、非參數(shù)認知診斷模型 122
二、結構化的項目反應理論模型 124
三、參數(shù)化的認知診斷模型 125
第三節(jié) 認知診斷模型的整合 129
一 、三種認知診斷模型整合框架 129
二、廣義模型和具體模型的關系 132
第 六 章 認知診斷模型的參數(shù)估計
第 一 節(jié) 項目反應理論模型的參數(shù)估計方法 135
一 、項目反應理論的參數(shù)估計情形 135
二、潛在特質(zhì)“填補”的參數(shù)估計方法 136
三 、潛在特質(zhì)“填補”方法的三個階段 138
第二節(jié) 認知診斷模型的參數(shù)估計方法 140
一 、參數(shù)估計方法的原理 141
二、題目參數(shù)的估計方法 141
三 、題目參數(shù)估計的影響因素 143
四、參數(shù)估計方法的不斷發(fā)展 143
第三節(jié) 知識狀態(tài)的參數(shù)估計方法 143
一 、知識狀態(tài)的估計方法 144
二、知識狀態(tài)估計的信度 146
第 七 章 認知診斷評估數(shù)據(jù)分析
第 一 節(jié) 基 于R 軟件的數(shù)據(jù)分析 148
一 、R軟件的安裝和使用 148
二 、R軟件的數(shù)據(jù)分析程序包 154
三、認知診斷評估數(shù)據(jù)分析 160
第二節(jié) 基 于Mplus 軟件的數(shù)據(jù)分析 209
一 、Mplus 軟件的安裝和基本模塊 209
二、Mplus 軟件的語法結構和核心命令 210
三、Mplus 軟件中認知診斷模型的設定 213
四、認知診斷評估數(shù)據(jù)分析 218
第三節(jié) 基 于 flexMIRT 軟件的數(shù)據(jù)分析 234
一 、flexMIRT 軟件的安裝和核心功能 234
二 、flexMIRT 軟件的程序和命令簡介 235
三 、認知診斷模型與其程序設定 244
四 、認知診斷評估數(shù)據(jù)分析 245
第 八 章 認知診斷評估的理論演進趨勢
第一節(jié) 認知診斷評估的研究拓展 253
一 、認知模型的開發(fā)和驗證 253
二 、認知診斷測驗開發(fā) 256
三 、認知診斷模型拓展 258
四 、認知診斷評估的應用 266
第二節(jié) 融入屬性層級關系的縱向認知診斷模型 267
一 、融入屬性層級關系的認知診斷模型 267
二、面向縱向數(shù)據(jù)的認知診斷模型 268
三、融入屬性層級關系的縱向認知診斷模型 270
四 、融入屬性層級關系的縱向認知診斷模型應用 273
參考文獻 275