前言大語言模型理論的研究進(jìn)展與趨勢CCF人工智能與模式識別專業(yè)委員會1大語言模型理論概述：統(tǒng)計學(xué)習(xí)視角21.1大語言模型的理論框架21.2大語言模型的表達(dá)能力41.3大語言模型的泛化分析41.4大語言模型的優(yōu)化算法62大語言模型的構(gòu)建原則：理論指導(dǎo)實(shí)踐82.1預(yù)訓(xùn)練理論及其啟發(fā)82.2有監(jiān)督微調(diào)理論及其啟發(fā)102.3提示工程理論及其啟發(fā)133大語言模型的涌現(xiàn)能力：數(shù)學(xué)機(jī)理分析143.1擴(kuò)展法則機(jī)理分析153.2情境學(xué)習(xí)能力機(jī)理分析173.3思維鏈能力機(jī)理分析194結(jié)論20參考文獻(xiàn)20作者簡介26領(lǐng)域大模型的研究進(jìn)展與趨勢CCF人工智能與模式識別專業(yè)委員會1引言282領(lǐng)域大模型的構(gòu)建流程292.1大模型評測292.2數(shù)據(jù)準(zhǔn)備與設(shè)計332.3持續(xù)性知識注入382.4提示工程423領(lǐng)域大模型驅(qū)動的應(yīng)用框架473.1工作流473.2大模型智能體484國內(nèi)外領(lǐng)域大模型的典型實(shí)例544.1醫(yī)療領(lǐng)域554.2金融領(lǐng)域554.3法律領(lǐng)域564.4科研領(lǐng)域564.5商用領(lǐng)域565總結(jié)與展望57參考文獻(xiàn)57作者簡介66大模型下的軟件工程研究進(jìn)展與趨勢CCF軟件工程專業(yè)委員會1引言702軟件工程領(lǐng)域大模型712.1軟件工程領(lǐng)域的基礎(chǔ)大模型722.2基于指令調(diào)優(yōu)的軟件工程領(lǐng)域大模型742.3軟件工程領(lǐng)域大模型的評估753大模型輔助軟件工程773.1大模型下的需求與設(shè)計773.2大模型下的代碼輔助生成793.3大模型下的軟件測試823.4大模型下的代碼分析與檢視843.5大模型下的軟件運(yùn)維853.6大模型下的漏洞工程864大模型下的開源生態(tài)884.1大模型加速開源生態(tài)的演進(jìn)與技術(shù)創(chuàng)新884.2大模型使生態(tài)復(fù)雜性加劇884.3大模型促進(jìn)軟件泛在化與生態(tài)擴(kuò)展895大模型下的軟件工程挑戰(zhàn)915.1整體層面的挑戰(zhàn)915.2具體層面的挑戰(zhàn)925.3軟件工程大模型數(shù)據(jù)與評估的挑戰(zhàn)995.4軟件工程領(lǐng)域大模型在可信性方面的挑戰(zhàn)1006總結(jié)100參考文獻(xiàn)101作者簡介110數(shù)據(jù)準(zhǔn)備與語言模型交叉技術(shù)的研究進(jìn)展及發(fā)展趨勢CCF數(shù)據(jù)庫專業(yè)委員會1引言1141.1初識基于語言模型的數(shù)據(jù)準(zhǔn)備1151.2初識面向語言模型的數(shù)據(jù)準(zhǔn)備1171.3報告結(jié)構(gòu)1202基于語言模型的數(shù)據(jù)準(zhǔn)備1202.1國內(nèi)外研究現(xiàn)狀1202.2基于傳統(tǒng)方法的數(shù)據(jù)準(zhǔn)備1212.3基于語言模型的數(shù)據(jù)發(fā)現(xiàn)1262.4基于語言模型的數(shù)據(jù)查詢1292.5基于語言模型的數(shù)據(jù)融合1332.6基于語言模型的數(shù)據(jù)清洗1363面向語言模型的數(shù)據(jù)準(zhǔn)備1393.1國內(nèi)外研究現(xiàn)狀1403.2面向預(yù)訓(xùn)練的數(shù)據(jù)準(zhǔn)備1403.3面向指令微調(diào)的數(shù)據(jù)準(zhǔn)備1453.4面向模型推理的數(shù)據(jù)準(zhǔn)備1504發(fā)展趨勢與展望1544.1基于語言模型的數(shù)據(jù)準(zhǔn)備發(fā)展趨勢與展望1544.2面向語言模型的數(shù)據(jù)準(zhǔn)備發(fā)展趨勢與展望1575結(jié)束語160參考文獻(xiàn)161作者簡介170大模型基礎(chǔ)軟件的研究進(jìn)展與趨勢CCF系統(tǒng)軟件專業(yè)委員會1引言1722國內(nèi)外研究和產(chǎn)業(yè)現(xiàn)狀1742.1大模型訓(xùn)練微調(diào)軟件1742.2大模型推理基礎(chǔ)軟件1802.3大模型開發(fā)工具鏈軟件1872.4面向RAG的大模型數(shù)據(jù)管理基礎(chǔ)軟件1952.5大模型編排軟件2032.6大模型操作系統(tǒng)2083國內(nèi)學(xué)術(shù)研究及產(chǎn)業(yè)進(jìn)展2133.1學(xué)術(shù)研究進(jìn)展2133.2產(chǎn)業(yè)結(jié)構(gòu)演化2154我國大模型基礎(chǔ)軟件研究的優(yōu)勢和挑戰(zhàn)2164.1我國大模型基礎(chǔ)軟件研究優(yōu)勢2164.2我國大模型基礎(chǔ)軟件研究面臨的挑戰(zhàn)2175發(fā)展趨勢與展望2185.1大模型訓(xùn)練框架走向多模態(tài)和異構(gòu)融合2185.2加速大模型推理從“作詩”走向“作詩+做事”，賦能千行百業(yè)2195.3與平臺特性、模型特征深入融合，大模型開發(fā)工具鏈軟件向領(lǐng)域化發(fā)展2195.4數(shù)據(jù)管理向多模態(tài)和多層次發(fā)展，與傳統(tǒng)數(shù)據(jù)存儲系統(tǒng)進(jìn)一步融合2205.5多智能體編排軟件蓬勃發(fā)展，智能體與傳統(tǒng)軟件加速融合2206結(jié)束語221參考文獻(xiàn)222作者簡介233大模型時代智能音頻信號處理的研究進(jìn)展與趨勢CCF語音對話與聽覺專業(yè)委員會1引言2372音頻表征學(xué)習(xí)2392.1傳統(tǒng)聲學(xué)特征2392.2深度學(xué)習(xí)表征2402.3自監(jiān)督學(xué)習(xí)語音表征2413基于大模型的音頻理解任務(wù)2463.1按標(biāo)簽類型分類2463.2按任務(wù)類型分類2473.3音頻標(biāo)簽預(yù)測2483.4序列事件檢測2493.5音頻事件檢測2493.6音頻描述2503.7大模型時代的音頻理解2503.8大模型時代的音頻理解評估指標(biāo)2514基于大模型的音頻生成任務(wù)2524.1語音生成大模型2524.2音效生成2544.3音樂生成2555通用音頻大模型進(jìn)展2575.1通用音頻大模型的3種形式2575.2基于編碼器的通用音頻大模型2585.3基于編碼器-解碼器的通用音頻大模型2615.4基于解碼器的通用音頻大模型2625.5融合其他模態(tài)的通用音頻大模型2665.6通用音頻大模型的數(shù)據(jù)集建設(shè)2676未來研究趨勢展望2687結(jié)束語269參考文獻(xiàn)269作者簡介278大語言模型價值對齊的研究進(jìn)展與趨勢CCF自然語言處理專業(yè)委員會1引言2801.1大語言模型概述2801.2價值對齊的概念與意義2811.3大語言模型的對齊方法與分類2831.4本文的組織形式2832國際研究現(xiàn)狀2842.1整體研究方向與趨勢2842.2價值對齊方法研究2842.3價值對齊評估與可解釋性2893國內(nèi)研究進(jìn)展2923.1整體研究方向與趨勢2923.2價值對齊方法研究2933.3價值對齊評估與可解釋性2954國內(nèi)外研究進(jìn)展比較2974.1技術(shù)路線的共性2974.2技術(shù)路線的差異2984.3研究焦點(diǎn)與方法的比較2984.4應(yīng)用領(lǐng)域與場景對比3005發(fā)展趨勢與展望3015.1挑戰(zhàn)與機(jī)遇3015.2研究趨勢與創(chuàng)新方向3035.3對行業(yè)與社會的長遠(yuǎn)影響3056結(jié)束語307參考文獻(xiàn)307作者簡介315基于大模型的智能體：理論、關(guān)鍵技術(shù)與展望CCF自然語言處理專業(yè)委員會1引言3181.1智能體的背景介紹3181.2智能體的發(fā)展歷程3181.3基于大模型的智能體的意義3201.4本文的組織安排3202基于大模型的智能體的框架結(jié)構(gòu)3222.1感知模塊3232.2規(guī)劃模塊3242.3記憶模塊3252.4工具使用模塊3273基于大模型的智能體的能力演化路徑3293.1基座模型能力拓展3293.2智能體工作流編排3313.3自主探索與進(jìn)化3333.4多智能體協(xié)同演化3333.5智能體標(biāo)桿數(shù)據(jù)集3344基于大模型的智能體的應(yīng)用范式3354.1單智能體范式3354.2多智能體協(xié)作范式3364.3人機(jī)交互范式3375智能體社會的環(huán)境與行為機(jī)制3385.1智能體的社會行為與人格3385.2模擬社會的運(yùn)行環(huán)境3405.3使用智能體進(jìn)行社會模擬3426總結(jié)和展望344致謝345參考文獻(xiàn)345作者簡介359