預(yù)訓(xùn)練大模型與醫(yī)療：從算法研究到應(yīng)用

預(yù)訓(xùn)練大模型與醫(yī)療：從算法研究到應(yīng)用閭海榮

博士

|

清華大學(xué)自動化系預(yù)訓(xùn)練大模型概述理解大模型的內(nèi)在機理賦予模型精準(zhǔn)性與可解釋性醫(yī)療領(lǐng)域應(yīng)用清華探索：數(shù)基生命CHIMA20Pag2e

2

3TsinghuaConfidential|

lvhairong@CONTENTS預(yù)訓(xùn)練：從大數(shù)據(jù)到小數(shù)據(jù)③

精準(zhǔn)可解釋

④醫(yī)療應(yīng)

用②

剖析大模型

①

關(guān)于預(yù)訓(xùn)練

預(yù)訓(xùn)練大模型（學(xué)習(xí)共性）大數(shù)據(jù)（低成本無標(biāo)注）少量特定領(lǐng)域標(biāo)注數(shù)據(jù)（成本高）微調(diào)小模型（學(xué)習(xí)特性）⑤數(shù)基生

命模型角度：模型參數(shù)不再是隨機初始化，而是通過一些任務(wù)（如語言模型）進(jìn)行預(yù)訓(xùn)練；數(shù)據(jù)角度：將訓(xùn)練任務(wù)拆解成共性學(xué)習(xí)和特性學(xué)習(xí)兩個步驟。CHIMA20Pag2e

3

3TsinghuaConfidential|

lvhairong@以英文電子病歷后結(jié)構(gòu)化為示例③

精準(zhǔn)可解釋

④醫(yī)療應(yīng)

用⑤數(shù)基生

命②

剖析大模型

①

關(guān)于預(yù)訓(xùn)練

英文CHIMA20Pag2e

4

3TsinghuaConfidential|

lvhairong@英文英文電子病歷后結(jié)構(gòu)化電子病歷后結(jié)構(gòu)化電子病歷后結(jié)構(gòu)化A不懂英文B懂英文C懂英文的醫(yī)生Transformer架構(gòu)：預(yù)訓(xùn)練的基石③

精準(zhǔn)可解釋

④醫(yī)療應(yīng)

用⑤數(shù)基生

命②

剖析大模型

①

關(guān)于預(yù)訓(xùn)練

從word2vec到

Transformer從context-free到

context-awareCHIMA20Pag2e

5

3TsinghuaConfidential|

lvhairong@BERT和GPT③

精準(zhǔn)可解釋

④醫(yī)療應(yīng)

用⑤數(shù)基生

命②

剖析大模型

①

關(guān)于預(yù)訓(xùn)練

兩類典型的大語言模型BERT：BidirectionalEncoderRepresentationsfromTransformers雙向模型，同時考慮前文和后文采用掩碼語言模型（masked

language

model）和下一句預(yù)測任務(wù)（next

sentence

prediction）進(jìn)行預(yù)訓(xùn)練，使得模型能夠?qū)W習(xí)到上下文關(guān)系和詞匯語義通常用于文本分類、序列標(biāo)注、問答等任務(wù)GPT：GenerativePre-trained

Transformer單向模型，只考慮前文，不考慮后文采用自回歸（autoregressive）的方式生成文本，即逐個生成下一個詞通常用于生成文本、對話、問答等任務(wù)CHIMA20Pag2e

6

3TsinghuaConfidential|

lvhairong@BERT訓(xùn)練③

精準(zhǔn)可解釋

④醫(yī)療應(yīng)

用⑤數(shù)基生

命②

剖析大模型

①

關(guān)于預(yù)訓(xùn)練

BERT主要采用掩碼語言模型（masked

language

model，對應(yīng)圖Mask

LM）和下一句預(yù)測任務(wù)（next

sentenceprediction，對應(yīng)圖NSP）進(jìn)行預(yù)訓(xùn)練，使得模型能夠?qū)W習(xí)到上下文關(guān)系和詞匯語義。預(yù)訓(xùn)練好的BERT可以用于對輸入文本進(jìn)行編碼，得到具有語義的向量表示。預(yù)訓(xùn)練好的BERT也可以通過微調(diào)（fine-tuning）方式適配各類NLP任務(wù)：The

Stanford

Question

AnsweringDataset問答（SQuAD）、命名實體識別（NER）、MNLI任務(wù)（大規(guī)模分類任務(wù)，目標(biāo)是預(yù)測第二個句子相對于第一個句子是包含，矛盾還是中立）CHIMA20Pag2e

7

3TsinghuaConfidential|

lvhairong@BERT表示能力③

精準(zhǔn)可解釋

④醫(yī)療應(yīng)

用⑤數(shù)基生

命②

剖析大模型

①

關(guān)于預(yù)訓(xùn)練

Represented

IntoSymbolic

SpaceLatent

SpaceCHIMA20Pag2e

8

3TsinghuaConfidential|

lvhairong@BERT類模型③

精準(zhǔn)可解釋

④醫(yī)療應(yīng)

用⑤數(shù)基生

命②

剖析大模型

①

關(guān)于預(yù)訓(xùn)練

2018年10月Google

AI提出BERT模型參數(shù)量1.15

億,

3.4億數(shù)據(jù)量約

16GB.2020年2月Google

AI提出的輕量化BERT模型參數(shù)量0.2億，0.61億，2.4億數(shù)據(jù)量約

16GB2019年7月Facebook

AI基于BERT模型的擴(kuò)展參數(shù)量1.15

億,

3.4億數(shù)據(jù)量約

160GB2021年10月Microsoft

AI在BERT模型上引入解碼與注意力解耦參數(shù)量3.4億數(shù)據(jù)量約

78GBCHIMA20Pag2e

9

3TsinghuaConfidential|

lvhairong@2019年8月清華大學(xué)提出知識注入BERT模型，后由Baidu

AI

更新迭代到3.0版本參數(shù)量1.15億，1.25億，100億數(shù)據(jù)量約

12GB，22.9G，4TB2020年3月Google

AI在BERT模型引入GAN參數(shù)量3.4億數(shù)據(jù)量約

16GBGPT發(fā)展史③

精準(zhǔn)可解釋

④醫(yī)療應(yīng)

用⑤數(shù)基生

命②

剖析大模型

①

關(guān)于預(yù)訓(xùn)練

解碼器部分為GPT發(fā)展奠定基礎(chǔ)2017年6月Google提出Transformer模型2017年6月OpenAI提出Few-shot

GPT-1模型參數(shù)量1.17

億數(shù)據(jù)量約

5GB賦予GPT預(yù)測下一個字符串能力2019年2月OpenAI提出One-shot

GPT-2模型參數(shù)量15億數(shù)據(jù)量40GB增加GPT解釋翻譯能力2020年5月OpenAI提出Zero-shot

GPT-3模型參數(shù)量1750億數(shù)據(jù)量40TB賦予GPT處理多任務(wù)的能力2022年1月OpenAI提出GPT-3.5模型參數(shù)量13億,

60億，1750億數(shù)據(jù)量40TB賦予GPT推理能力多模態(tài)生成CHIMA20Pag2e

103TsinghuaConfidential|

lvhairong@2023年第一季度OpenAI提出GPT-4模型百萬億級別參數(shù)量GPT訓(xùn)練過程③

精準(zhǔn)可解釋

④醫(yī)療應(yīng)

用⑤數(shù)基生

命②

剖析大模型

①

關(guān)于預(yù)訓(xùn)練

Unsupervised

Pre-trainingExpensivetrainingonmassive

datasetsDatasets:300billiontokensoftextObjective:PredictthenextwordExample:arobotmust?GPTUntrainedGPTCHIMA20Pag2e

113TsinghuaConfidential|

lvhairong@GPT應(yīng)用③

精準(zhǔn)可解釋

④醫(yī)療應(yīng)

用⑤數(shù)基生

命②

剖析大模型

①

關(guān)于預(yù)訓(xùn)練

GPT具有搜索引擎的功能2021年12月賦予GPT理解人類

指令的能力2022年2月CHIMA20Pag2e

123TsinghuaConfidential|

lvhairong@GPT在編寫代碼上的應(yīng)用2021年12月使GPT具有與人類對話的能力2022年11月模型內(nèi)部本質(zhì)上是基于統(tǒng)計的文字生成器③

精準(zhǔn)可解釋

④醫(yī)療應(yīng)

用⑤數(shù)基生

命②

剖析大模型

①

關(guān)于預(yù)訓(xùn)練

CHIMA20Pag2e

133TsinghuaConfidential|

lvhairong@通過對海量文本的學(xué)習(xí)，自動構(gòu)建了一個含有1750

億參數(shù)的大模型，建立了對這個世界基本的邏輯認(rèn)知，由此產(chǎn)生了基于邏輯的推理能力實際上是根據(jù)對話中的最近

4095

個記號，算出緊接著最可能是哪個記號但，ChatGPT

≠模型模型負(fù)責(zé)把最近的對話內(nèi)容翻譯為一張概率表ChatGPT

負(fù)責(zé)根據(jù)這張表選出下一個記號，再讓模型算再下一個記號的概率表可以理解為高階的馬爾可夫鏈③

精準(zhǔn)可解釋

④醫(yī)療應(yīng)

用⑤數(shù)基生

命②

剖析大模型

ChatGPT根據(jù)前

4095

個記號猜下一個記號，所以是一個

4095

階的馬爾可夫鏈后續(xù)狀態(tài)按一定概率取決于過去狀態(tài)的隨機過程，被稱為馬爾可夫鏈m

階馬爾可夫鏈模型可以根據(jù)前

m

個記號算出下一個記號的概率分布①

關(guān)于預(yù)訓(xùn)練

如果ChatGPT遇到它在訓(xùn)練時從沒見過的記號串怎么辦？1

階馬爾可夫鏈3

階馬爾可夫鏈CHIMA20Pag2e

143TsinghuaConfidential|

lvhairong@——神經(jīng)網(wǎng)絡(luò)能很好解決這個問題概念：嵌入向量（embedding

vector）③

精準(zhǔn)可解釋

④醫(yī)療應(yīng)

用⑤數(shù)基生

命②

剖析大模型

①

關(guān)于預(yù)訓(xùn)練

CHIMA20Pag2e

153TsinghuaConfidential|

lvhairong@嵌入向量：在GPT里面，把一個記號作為一個

N

維浮點數(shù)向量來表示。這種用一個向量來表示一個單詞或記號的方法按神經(jīng)網(wǎng)絡(luò)的術(shù)語就叫做嵌入一個單詞對應(yīng)的向量叫這個單詞的嵌入向量把每個單詞或記號（token）在

GPT

內(nèi)部都會通過一層簡單的神經(jīng)網(wǎng)絡(luò)映射層對應(yīng)到一個嵌入向量，這個向量代表了記號的語言特征GPT-3

是

1600

維，GPT-3.5

2048

維位置信息的引入③

精準(zhǔn)可解釋

④醫(yī)療應(yīng)

用⑤數(shù)基生

命②

剖析大模型

第一步：將離散的順序號轉(zhuǎn)換成一個與嵌入向量長度相同的向量，稱為位置編碼（positional

encoding）第二步：將位置編碼與嵌入向量相加（即對應(yīng)的元素相加），結(jié)果作為后續(xù)處理的輸入向量第三步：輸入向量會被送到多層Transformer進(jìn)行后續(xù)處理，每層Transformer的參數(shù)不同，但都會讓輸入先經(jīng)過一個線性投影層第四步：線性投影層將輸入向量投影到另一個維度空間，剔除不重要的維度，將高維向量簡化為低維向量使用Transformer擺脫了人工標(biāo)注數(shù)據(jù)集的缺陷，模型在質(zhì)量上更優(yōu)、更易于并行化，所需訓(xùn)練時間明顯更少①

關(guān)于預(yù)訓(xùn)練

CHIMA20Pag2e

163TsinghuaConfidential|

lvhairong@ChatGPT待優(yōu)化的部分③

精準(zhǔn)可解釋

④醫(yī)療應(yīng)

用⑤數(shù)基生

命②

剖析大模型

①

關(guān)于預(yù)訓(xùn)練

可信性無法保證，還不能提供合理的證據(jù)進(jìn)行可信性驗證01

成本高、部署困難、每次調(diào)用花費不菲，對工程能力有很高的要求，GPT-3

模型的訓(xùn)練成本在875萬

-1093.75萬美元之間03

因為數(shù)據(jù)的偏見性，很可能生成有害內(nèi)容05

時效性差，無法實時地融入新知識，知識范圍局限于基礎(chǔ)大規(guī)模語言模型使用的預(yù)訓(xùn)練數(shù)據(jù)時間之前02

反映的是標(biāo)注人員的偏好，在標(biāo)注人員分布不均的情況下，可能會引入新的偏見問題06

CHIMA20Pag2e

173TsinghuaConfidential|

lvhairong@在特定的專業(yè)領(lǐng)域上表現(xiàn)欠佳，訓(xùn)練數(shù)據(jù)是通用數(shù)據(jù)，沒有領(lǐng)域?qū)I(yè)數(shù)據(jù)04

如何讓ChatGPT更靠譜③

精準(zhǔn)可解釋

④醫(yī)療應(yīng)

用⑤數(shù)基生

命②

剖析大模型

①

關(guān)于預(yù)訓(xùn)練

CHIMA20Pag2e

183TsinghuaConfidential|

lvhairong@兩個關(guān)鍵參數(shù)：temperature

參數(shù)top_p參數(shù)ChatGPT

不是每次都選概率最大的記號temperature參數(shù)③

精準(zhǔn)可解釋

④醫(yī)療應(yīng)

用⑤數(shù)基生

命②

剖析大模型

①

關(guān)于預(yù)訓(xùn)練

CHIMA20Pag2e

193TsinghuaConfidential|

lvhairong@控制語言模型輸出的隨機性或創(chuàng)造性的參數(shù)temperature

參數(shù)=

0，模型每次都挑最佳候選字，從不偏離temperature

參數(shù)越大，生僻的選擇變得更容易被選中openAI

試驗場（playground）限制

temperature

參數(shù)在

0

到

1的區(qū)間t=0t=0.4t=2top_p參數(shù)③

精準(zhǔn)可解釋

④醫(yī)療應(yīng)

用⑤數(shù)基生

命②

剖析大模型

限制

top_p

參數(shù)在

0到

1的區(qū)間拿到候選字的原始概率分布后，先把這些字按概率從高到低排序，按順序依次選取，選到總概率超過

top_p值的時候即停止，剩下的候選字徹底放棄①

關(guān)于預(yù)訓(xùn)練

top_p=0，只保留最高頻的一個字top_p=0.5，考慮總概率占

50%

的那些最高頻的字top_p=1，全部候選字都考慮top_p=0CHIMA20Pag2e

203TsinghuaConfidential|

lvhairong@top_p=0.1top_p=1大模型精確性提升思路：知識嵌入③

精準(zhǔn)可解釋

④醫(yī)療應(yīng)

用⑤數(shù)基生

命②

剖析大模型

①

關(guān)于預(yù)訓(xùn)練

大模型語言本身具有很強的語言理解或生成能力，然而為了提高其敘述內(nèi)容的真實性和嚴(yán)謹(jǐn)性，需要采用特定的技術(shù)路線，例如將知識圖譜中的事實描述融入大模型的訓(xùn)練過程中。知識嵌入：Zhang等人通過將知識圖譜的表示向量加入到BERT中對應(yīng)的tokens編碼內(nèi)，從而使得模型學(xué)習(xí)到與知識相關(guān)的事實信息，增強了模型在相應(yīng)知識領(lǐng)域的準(zhǔn)確性。[1]相關(guān)模型在FewRel和TACRED上的表現(xiàn)參考：CHIMA20Pag2e

213TsinghuaConfidential|

lvhairong@[1]Zhang,Zhengyan,etal."ERNIE:Enhancedlanguagerepresentationwithinformativeentities."arXivpreprintarXiv:1905.07129

(2019).大模型精確性提升思路：知識預(yù)測③

精準(zhǔn)可解釋

④醫(yī)療應(yīng)

用⑤數(shù)基生

命②

剖析大模型

①

關(guān)于預(yù)訓(xùn)練

參考：[1]Liu,Jiacheng,etal."Generatedknowledgepromptingforcommonsensereasoning."arXivpreprintarXiv:2110.08387

(2021)知識圖譜應(yīng)用于大模型訓(xùn)練后階段：Liu等人提出了知識生成式大模型提示方法，讓模型進(jìn)行知識預(yù)測，通過將知識圖譜的三元組形式轉(zhuǎn)化成Question

andanswer的形式，讓模型生成一些知識，然后將這些知識進(jìn)行聚合，從而得到最終的更為精確靠譜的結(jié)果。模型在數(shù)值常識（NumerSense）、一般常識（CommonsenseQA

2.0）和科學(xué)常識（QASC）基準(zhǔn)測試中進(jìn)行實驗，得出了將外部知識融入到大模型中能夠提升其常識推理任務(wù)的精度的結(jié)論。[1]CHIMA20Pag2e

223TsinghuaConfidential|

lvhairong@大模型精確性提升思路：少樣本提示③

精準(zhǔn)可解釋

④醫(yī)療應(yīng)

用⑤數(shù)基生

命②

剖析大模型

①

關(guān)于預(yù)訓(xùn)練

參考：/TgqDT3gGaMdkHasLZv/article/details/130211938https://www.promptingguide.ai/zh/techniques/fewshotChatGPT作為一種生成模型，存在一些問題。其中最主要的問題是不確定性和預(yù)訓(xùn)練語料庫中存在的某些局限性，這可能導(dǎo)致ChatGPT在回答一些問題時存在時效性、事實性以及內(nèi)容不合規(guī)等情況。[1]少樣本提示：盡管大型語言模型展現(xiàn)出驚人的零樣本能力（泛化能力），但在復(fù)雜的任務(wù)中使用零樣本設(shè)置時仍然表現(xiàn)不佳。為了提高模型的性能，我們可以采用少樣本提示技術(shù)來啟發(fā)上下文學(xué)習(xí)。這種技術(shù)可以通過給模型提供示例演示來引導(dǎo)其生成更好的響應(yīng)。演示作為后續(xù)示例的條件，可以有效地提高模型的準(zhǔn)確性和可靠性。[2]CHIMA20Pag2e

233TsinghuaConfidential|

lvhairong@大模型精確性提升思路：自我一致性③

精準(zhǔn)可解釋

④醫(yī)療應(yīng)

用⑤數(shù)基生

命②

剖析大模型

①

關(guān)于預(yù)訓(xùn)練

參考：https://www.promptingguide.ai/zh/techniques/cothttps://www.promptingguide.ai/zh/techniques/fewshot由于ChatGPT的訓(xùn)練機制主要專注于“單字接龍”，其在涉及算術(shù)和常識推理的任務(wù)中的精確性仍有待提升。自我一致性：由Wang等人提出，其核心思想是在鏈?zhǔn)剿伎嫉膒rompt

[1]基礎(chǔ)上，通過采樣適量的多個不同推理路徑，根據(jù)這些方案的一致性情況得出最合理的結(jié)果，從而提高模型的準(zhǔn)確性和可靠性。[2]CHIMA20Pag2e

243TsinghuaConfidential|

lvhairong@大模型精確性提升思路：提示語工程③

精準(zhǔn)可解釋

④醫(yī)療應(yīng)

用⑤數(shù)基生

命②

剖析大模型

①

關(guān)于預(yù)訓(xùn)練

參考：Ma,Chong,etal."ImpressionGPT:AnIterativeOptimizingFrameworkforRadiologyReportSummarizationwithChatGPT."arXivpreprintarXiv:2304.08448

(2023).Wang,Sheng,etal."Chatcad:Interactivecomputer-aideddiagnosisonmedicalimageusinglargelanguagemodels."arXivpreprintarXiv:2302.07257

(2023).通過適當(dāng)?shù)腜rompt

engineering，可以提升ChatGPT在相應(yīng)任務(wù)上的精確性。ImpressionGPT：使用“動態(tài)prompt”

來構(gòu)建具有相似診斷報告的“動態(tài)上下文”

環(huán)境；對生成的報告進(jìn)行評估，利用評估結(jié)果來指導(dǎo)ChatGPT

生成增強的響應(yīng)，讓ChatGPT能夠從好樣本和壞樣本中學(xué)習(xí)到相關(guān)內(nèi)容。[1]ChatCAD

：設(shè)計了三種不同的Prompt，將視覺模型得到的結(jié)果通過Prompt更好的讓語言模型理解，通過ChatGPT與CAD結(jié)合，得到了診斷的性能提升。[2]CHIMA20Pag2e

253TsinghuaConfidential|

lvhairong@大模型可解釋性③

精準(zhǔn)可解釋

④醫(yī)療應(yīng)

用⑤數(shù)基生

命②

剖析大模型

①

關(guān)于預(yù)訓(xùn)練

CHIMA20Pag2e

263TsinghuaConfidential|

lvhairong@機器學(xué)習(xí)模型的可解釋性傳統(tǒng)模型的可解釋性思路模型相關(guān)模型無關(guān)大模型的可解釋性思路基于attention機制：大模型如BERT和ChatGPT等大都基于attention機制構(gòu)建，但隨著模型參數(shù)量不斷增大，通過attention機制也無法進(jìn)行模型內(nèi)部的解釋Prompt

Engineering思路：對話中的post-hoc（事后）可解釋性傳統(tǒng)可解釋性思路③

精準(zhǔn)可解釋

④醫(yī)療應(yīng)

用⑤數(shù)基生

命②

剖析大模型

①

關(guān)于預(yù)訓(xùn)練

參考：Wang,Junlin,etal."Gradient-basedanalysisofNLPmodelsismanipulable."arXivpreprintarXiv:2010.05419

(2020).Meng,Kevin,etal."Locatingandeditingfactualknowledgeingpt."arXivpreprintarXiv:2202.05262

(2022).[2]Clark,Kevin,etal."Whatdoesbertlookat?ananalysisofbert'sattention."arXivpreprintarXiv:1906.04341

(2019).[4]Dai,Damai,etal."Knowledgeneuronsinpretrainedtransformers."arXivpreprintarXiv:2104.08696

(2021).白箱算法的可解釋性與模型構(gòu)造本身高度相關(guān)，因此對于大模型可以根據(jù)相關(guān)思路設(shè)計更具有針對性的可解釋性方法。主流的模型相關(guān)可解釋性方法：基于梯度顯著性[1]基于因果啟發(fā)[2]基于注意力機制[3]基于神經(jīng)元分析[4]CHIMA20Pag2e

273TsinghuaConfidential|

lvhairong@針對大模型的可解釋性思路：多層注意力機制③

精準(zhǔn)可解釋

④醫(yī)療應(yīng)

用⑤數(shù)基生

命②

剖析大模型

①

關(guān)于預(yù)訓(xùn)練

參考：[1]Clark,Kevin,etal."Whatdoesbertlookat?ananalysisofbert'sattention."arXivpreprintarXiv:1906.04341

(2019).BERT、GPT等大預(yù)言模型的基礎(chǔ)框架為transformer，因此對于此類大模型的可解釋性多與transformer

模型的架構(gòu)與機制有關(guān)。多層注意力機制：在Transformer模型中，通常包含大量的attention層。因此，每個attention層對于模型最終輸出的影響很難用單層的熱力圖來解釋。如果想要探究這類大型模型的可解釋性，就必須從多層注意機制入手，并深入探究多個層之間以及同一層中不同multi-head之間的關(guān)系，以及它們對最終結(jié)果的影響。[1]注意力中的表層模式注意力模塊的相對位置分隔符標(biāo)記集中注意力與廣泛注意力CHIMA20Pag2e

283TsinghuaConfidential|

lvhairong@注意力頭探查探查個別注意力頭探查注意力頭組合注意力聚類針對大模型的可解釋性思路：信息流解析③

精準(zhǔn)可解釋

④醫(yī)療應(yīng)

用⑤數(shù)基生

命②

剖析大模型

①

關(guān)于預(yù)訓(xùn)練

參考：[1]Lu,K.,etal."InfluencePatternsforExplainingInformationFlowinBERT."

(2020).信息流解析：注重模型處理過程中，過程信息流的可視化，這樣做的意義和價值在于模型的使用者能夠非常清晰的找出模型的輸出結(jié)果與哪些輸入有關(guān)，以及這些關(guān)聯(lián)機制在模型的內(nèi)部是怎樣提現(xiàn)的。由于Transformer中注意力層的數(shù)量眾多，其黑箱特性使得信息在其中的傳遞變得錯綜復(fù)雜。通過追蹤tokens在Transformer內(nèi)部結(jié)構(gòu)中的信息流向，能夠幫助追溯預(yù)測結(jié)果的依據(jù)來源，從而增加模型的透明度并提高其可信度。

[1]CHIMA20Pag2e

293TsinghuaConfidential|

lvhairong@針對大模型的可解釋性思路：Prompt

Engineering（ChatGPT時代）③

精準(zhǔn)可解釋

④醫(yī)療應(yīng)

用⑤數(shù)基生

命②

剖析大模型

①

關(guān)于預(yù)訓(xùn)練

參考：[1]

https://www.promptingguide.ai/zh/techniques/cot通過Prompt

engineering，ChatGPT能夠?qū)ο嚓P(guān)的結(jié)果做出一定的事后解釋，這樣的解釋以自然語言的形式給出，讓人更易理解。鏈?zhǔn)剿伎迹篧ei等人引入鏈?zhǔn)剿伎迹–oT）提示通過中間推理步驟實現(xiàn)了復(fù)雜的推理能力，這樣的方法不僅可以提升任務(wù)結(jié)果的準(zhǔn)確性，同時也能使得模型的推理過程一定程度上透明化，從而平衡其黑箱特性帶來的過程不可見性，增加結(jié)果的可行度。CHIMA20Pag2e

303TsinghuaConfidential|

lvhairong@針對大模型的可解釋性思路：

Prompt

Engineering思路③

精準(zhǔn)可解釋

④醫(yī)療應(yīng)

用⑤數(shù)基生

命②

剖析大模型

①

關(guān)于預(yù)訓(xùn)練

參考：[1]Liu,Jiacheng,etal."Generatedknowledgepromptingforcommonsensereasoning."arXivpreprintarXiv:2110.08387

(2021)背景生成知識提示：大模型精準(zhǔn)性的板塊所講到的生成式知識大模型提示方法，實際上，這種方法類似于鏈?zhǔn)剿伎挤椒ǎ尨竽Ｐ歪槍σ粋€問題生成特定的知識，并以這些知識作為其思考過程的基礎(chǔ)。然后將這些知識進(jìn)行聚合，最終得出一個答案。這樣的過程也是一種可解釋性。通過生成式知識提示，我們可以了解大模型在推理和生成答案時所參考的具體知識，從而更好地理解其決策過程。這種方法可以幫助我們發(fā)現(xiàn)模型可能存在的偏見或錯誤，并進(jìn)一步優(yōu)化模型性能。同時，由于知識的結(jié)構(gòu)化特點，它還可以為人們提供更加結(jié)構(gòu)化的模型解釋，增強模型的可解釋性。CHIMA20Pag2e

313TsinghuaConfidential|

lvhairong@醫(yī)療領(lǐng)域應(yīng)用場景③

精準(zhǔn)可解釋

④醫(yī)療應(yīng)

用⑤數(shù)基生

命②

剖析大模型

①

關(guān)于預(yù)訓(xùn)練

CHIMA20Pag2e

323TsinghuaConfidential|

lvhairong@參考：[1]Qiu,Jianing,etal."LargeAIModelsinHealthInformatics:Applications,Challenges,andtheFuture."arXivpreprintarXiv:2303.11568

(2023).ChatGPT應(yīng)用于自動印象生成③

精準(zhǔn)可解釋

④醫(yī)療應(yīng)

用⑤數(shù)基生

命②

剖析大模型

①

關(guān)于預(yù)訓(xùn)練

參考：[1]Ma,Chong,etal."ImpressionGPT:AnIterativeOptimizingFrameworkforRadiologyReportSummarizationwithChatGPT."arXivpreprintarXiv:2304.08448

(2023).背景在標(biāo)準(zhǔn)的放射學(xué)報告中，印象部分是對整個報告描述的總結(jié)。自動印象生成（Automaticimpressiongeneration，AIG）成為醫(yī)學(xué)領(lǐng)域NLP研究的重點。挑戰(zhàn)：對放射科醫(yī)生來說，寫下大量“印象”既費力又容易出錯。盡管最近的研究中基于預(yù)訓(xùn)練和微調(diào)預(yù)訓(xùn)練模型在醫(yī)學(xué)文本領(lǐng)域中的自動印象生成方面取得了不錯的效果，但此類模型通常需要大量的醫(yī)學(xué)文本數(shù)據(jù)并且泛化性能較差。思路：

ImpressionGPT[1]使用動態(tài)提示（dynamicprompt）和迭代優(yōu)化（iterative

optimization）來增強ChatGPT對放射學(xué)報告摘要的適應(yīng)性。ImpressionGPT技術(shù)流程圖CHIMA20Pag2e

333TsinghuaConfidential|

lvhairong@ChatGPT應(yīng)用于自動印象生成③

精準(zhǔn)可解釋

④醫(yī)療應(yīng)

用⑤數(shù)基生

命②

剖析大模型

最近的研究表明，設(shè)計prompt以引導(dǎo)模型關(guān)注輸入的相關(guān)方面，可以產(chǎn)生更精確和一致的輸出。因此prompt

engineering對自動印象生成非常重要。①

關(guān)于預(yù)訓(xùn)練

首先使用標(biāo)簽器對報告的“發(fā)現(xiàn)”部分進(jìn)行分類并提取疾病標(biāo)簽，然后基于疾病類別，在現(xiàn)有的診斷報告語料庫中搜索相似的報告。使用“動態(tài)提示”

來構(gòu)建具有相似診斷報告的“動態(tài)上下文”

環(huán)境，以便

ChatGPT

可以學(xué)習(xí)總結(jié)與當(dāng)前疾病相關(guān)的診斷報告。CHIMA20Pag2e

343TsinghuaConfidential|

lvhairong@ChatGPT應(yīng)用于自動印象生成③

精準(zhǔn)可解釋

④醫(yī)療應(yīng)

用⑤數(shù)基生

命②

剖析大模型

①

關(guān)于預(yù)訓(xùn)練

CHIMA20Pag2e

353TsinghuaConfidential|

lvhairong@參考：[1]Qiu,Jianing,etal."LargeAIModelsinHealthInformatics:Applications,Challenges,andtheFuture."arXivpreprintarXiv:2303.11568

(2023).ImpressionGPT在AIG任務(wù)的兩個經(jīng)典數(shù)據(jù)集MIMIC-CXR和OpenI上取得了不少的性能提升。對生成的報告進(jìn)行評估，利用評估結(jié)果來指導(dǎo)ChatGPT

生成增強的響應(yīng)：采用“Instruction

+Response”的形式，讓ChatGPT能夠從好樣本和壞樣本中學(xué)習(xí)到相關(guān)內(nèi)容。ChatGPT應(yīng)用于醫(yī)學(xué)圖像輔助診斷③

精準(zhǔn)可解釋

④醫(yī)療應(yīng)

用⑤數(shù)基生

命②

剖析大模型

①

關(guān)于預(yù)訓(xùn)練

參考：[1]Wang,Sheng,etal."Chatcad:Interactivecomputer-aideddiagnosisonmedicalimageusinglargelanguagemodels."arXivpreprintarXiv:2302.07257

(2023).背景用于醫(yī)學(xué)圖像的計算機輔助診斷

(CAD)

網(wǎng)絡(luò)通過使用先進(jìn)的深度學(xué)習(xí)算法來支持臨床決策，在醫(yī)學(xué)領(lǐng)域取得了重大成功。大型語言模型

(LLM)

最近展示了在臨床應(yīng)用中的潛力，其提供了寶貴的醫(yī)學(xué)知識和建議。挑戰(zhàn)：LLM目前難以從這些醫(yī)學(xué)圖像中解釋和提取信息，從而限制了他們?nèi)嬷С峙R床決策過程的能力。思路：

ChatCAD[1]將

LLM

的醫(yī)學(xué)領(lǐng)域知識和邏輯推理的優(yōu)勢與現(xiàn)有醫(yī)學(xué)圖像

CAD

模型的視覺理解能力相結(jié)合，為患者提供了一個更加用戶友好和易于理解的系統(tǒng)。ChatCAD技術(shù)流程圖CAD與ChatGPT結(jié)合后的交互式問答系統(tǒng)示例CHIMA20Pag2e

363TsinghuaConfidential|

lvhairong@ChatGPT應(yīng)用于醫(yī)學(xué)圖像輔助診斷③

精準(zhǔn)可解釋

④醫(yī)療應(yīng)

用⑤數(shù)基生

命②

剖析大模型

①

關(guān)于預(yù)訓(xùn)練

使用了三種不同的prompt設(shè)計，prompt作為tensor到text的紐帶從醫(yī)學(xué)圖像得到prompt的策略：將檢查圖像（例如X射線）輸入經(jīng)過訓(xùn)練的CAD

模型以獲得輸出Prompt#1

將這些輸出（通常是張量Output

tensor）翻譯成自然語言（LLM的提示句）Prompt#2

將使用評分系統(tǒng)設(shè)計，將Output

tensor中的分?jǐn)?shù)分為四類，并用每類對應(yīng)的自然語言描述五個觀察值中每一個的可能性Prompt#3

是一個簡潔的prompt，報告在Output

tensor中診斷分?jǐn)?shù)高于0.5的疾病，如果五種疾病都沒有預(yù)測，則提示“未發(fā)現(xiàn)”CHIMA20Pag2e

373TsinghuaConfidential|

lvhairong@ChatGPT應(yīng)用于醫(yī)學(xué)圖像輔助診斷③

精準(zhǔn)可解釋

④醫(yī)療應(yīng)

用⑤數(shù)基生

命②

剖析大模型

①

關(guān)于預(yù)訓(xùn)練

CHIMA20Pag2e

383TsinghuaConfidential|

lvhairong@ChatGPT應(yīng)用于醫(yī)學(xué)圖像輔助診斷③

精準(zhǔn)可解釋

④醫(yī)療應(yīng)

用⑤數(shù)基生

命②

剖析大模型

①

關(guān)于預(yù)訓(xùn)練

CHIMA20Pag2e

393TsinghuaConfidential|

lvhairong@基于視覺模型的結(jié)果和語言模型中預(yù)訓(xùn)練的醫(yī)學(xué)知識，交互式ChatCAD可以進(jìn)行有關(guān)癥狀、診斷和治療的對話交互式ChatCAD的兩個示例ChatCAD利用ChatGPT與三種不同的prompt設(shè)計生成的報告團(tuán)隊目前在醫(yī)療領(lǐng)域的探索與工作③

精準(zhǔn)可解釋

④醫(yī)療應(yīng)

用②

剖析大模型

①

關(guān)于預(yù)訓(xùn)練

醫(yī)學(xué)影像報告中的所見->影像學(xué)報告中的印象1）構(gòu)建并融合知識圖譜

+

LLaMa（Meta公司開源的生成式大模型）利用知識圖譜直接顯式的進(jìn)行形式化拼接，引入預(yù)訓(xùn)練語料，通過微調(diào)的開源大模型，得到精確性與可解釋性更好的模型。2）知識圖譜在prompt

engineering中的應(yīng)用方法知識圖譜的引入可以使其上下文環(huán)境更符合現(xiàn)有領(lǐng)域知識，比如用知識圖譜來構(gòu)建不同疾病之間的關(guān)系。通過知識圖譜引入專家知識，在prompt前進(jìn)行一定約束，可以提供更可靠、有效的prompt。大模型：參數(shù)化的知識庫CHIMA20Pag2e

403TsinghuaConfidential|

lvhairong@prompt知識圖譜：形式化的知識庫Prompt是兩類知識相互融合的橋梁⑤數(shù)基生

命知識圖譜本身具有可讀性和一定可解釋性，在大模型中引入知識圖譜使得模型的輸入更可靠提出了新的模型架構(gòu)：EnhancedBERT③

精準(zhǔn)可解釋

④醫(yī)療應(yīng)

用⑤數(shù)基生

命②

剖析大模型

①

關(guān)于預(yù)訓(xùn)練

CHIMA20Pag2e

413TsinghuaConfidential|

lvhairong@使用密集連接的方式可以連接不同層的表示到最頂層，有助于增強BERT表示的能力。融合圖結(jié)構(gòu)，一方面可以使大模型編碼圖結(jié)構(gòu)信息，另一方面有助于提升大模型建模序列中的精確語義信息。使用BookCorpus和WikiPedia訓(xùn)練4層的tinyBERT和tiny

EnhancedBERT，結(jié)果顯示EnhancedBERT相較于原始BERT有較大的提升。醫(yī)療領(lǐng)域應(yīng)用實踐與探索③

精準(zhǔn)可解釋

④醫(yī)療應(yīng)

用⑤數(shù)基生

命②

剖析大模型

①

關(guān)于預(yù)訓(xùn)練

參考：[1]Qiu,Jianing,etal."LargeAIModelsinHealthInformatics:Applications,Challenges,andtheFuture."arXivpreprintarXiv:2303.11568

(2023).一些問題仍待探索在多機構(gòu)場景中所涉及的數(shù)據(jù)隱私和安全問題知識圖譜（KG）在prompt

design中的使用，以使其更符合現(xiàn)有領(lǐng)域知識（如不同疾病之間的關(guān)系）“人在回路”在prompt優(yōu)化迭代的過程中的重要作用更豐富的數(shù)據(jù)集和基準(zhǔn)（如包含患者主訴信息的基準(zhǔn)數(shù)據(jù)集）多模態(tài)數(shù)據(jù)6）……CHIMA20Pag2e

423TsinghuaConfidential|

lvhairong@清華大學(xué)數(shù)基生命交叉創(chuàng)新群體④醫(yī)療應(yīng)

用⑤數(shù)基生

命①

關(guān)于預(yù)訓(xùn)練

群體顧問戴瓊海中國工程院院士李衍達(dá)中國科學(xué)院院士董家鴻中國工程院院士WingH.

Wong美國科學(xué)院院士②

剖析大模型

群體骨干③

精準(zhǔn)可解釋

張靜群體帶頭人張學(xué)工生物信息與機器學(xué)習(xí)專家清華大學(xué)自動化系教授國際計算生物學(xué)學(xué)會會士魏磊閭海榮謝震古槿江瑞汪小我CHIMA20Pag2e

433TsinghuaConfidential|

lvhairong@智能醫(yī)療的關(guān)鍵：信息獲取、理解與呈遞③

精準(zhǔn)可解釋

④醫(yī)療應(yīng)

用⑤數(shù)基生

命②

剖析大模型

①

關(guān)于預(yù)訓(xùn)練

科學(xué)發(fā)現(xiàn)生命機理科學(xué)發(fā)現(xiàn)未能轉(zhuǎn)化為應(yīng)用臨床患者可用技術(shù)錯失的機會、浪費的資源CHIMA20Pag2e

443TsinghuaConfidential|

lvhairong@損失的生命解決思路：數(shù)基生命

-

醫(yī)療行業(yè)研究與產(chǎn)業(yè)發(fā)展的新范式③

精準(zhǔn)可解釋

④醫(yī)療應(yīng)

用⑤數(shù)基生

命②

剖析大模型

①

關(guān)于預(yù)訓(xùn)練

機理模型化在數(shù)字化實體中，實現(xiàn)貫穿人體分子、細(xì)胞、組織、器官和系統(tǒng)的數(shù)學(xué)模型，讓數(shù)字實體“活起來”，模擬生老病死各種生命過程，形成人體“數(shù)字孿生”。通過模擬個體健康演化和疾病發(fā)生發(fā)展過程,推演各種因素作用,定量評估重要生命過程,提供精準(zhǔn)的動態(tài)健康指導(dǎo)和疾病治療方案。通過全方位、多尺度、多模態(tài)生物醫(yī)學(xué)數(shù)據(jù)感知，把人體表征為數(shù)字化實體。應(yīng)用智能化CHIMA20Pag2e

453TsinghuaConfidential|

lvhairong@生命數(shù)字化通過模型化重構(gòu)應(yīng)用生態(tài)③

精準(zhǔn)可解釋

④醫(yī)療應(yīng)

用⑤數(shù)基生

命②

剖析大模型

①

關(guān)于預(yù)訓(xùn)練

應(yīng)用智能化全場景智能化精準(zhǔn)醫(yī)健機理模型化數(shù)據(jù)-知識雙驅(qū)動構(gòu)建大模型智能健康管理智能精準(zhǔn)醫(yī)療智能公共健康數(shù)基生命實驗數(shù)基設(shè)計靶向治療數(shù)碳耦合組織工程生命機理數(shù)基重現(xiàn)生命數(shù)字化全方位跨尺度數(shù)據(jù)感知群體-個體-系統(tǒng)-器官-組織-細(xì)胞-分子宏觀-----------微觀共性平臺技術(shù)CHIMA20Pag2e

463TsinghuaConfidential|

lvhairong@數(shù)據(jù)-知識雙驅(qū)動的數(shù)基生命大模型③

精準(zhǔn)可解釋

④醫(yī)療應(yīng)

用⑤數(shù)基生

命②

剖析大模型

①

關(guān)于預(yù)訓(xùn)練

人體全方位定量數(shù)據(jù)感知數(shù)基生命大模型從基因、細(xì)胞到系統(tǒng)的數(shù)字畫像數(shù)基-碳基融合生命系統(tǒng)調(diào)控數(shù)基智能精準(zhǔn)醫(yī)健數(shù)基孿生推演優(yōu)化醫(yī)健全場景數(shù)字化CHIMA20Pag2e

473TsinghuaConfidential|

lvhairong@臨床預(yù)訓(xùn)練模型與知識圖譜③

精準(zhǔn)可解釋

④醫(yī)療應(yīng)

用⑤數(shù)基生

命②

剖析大模型

①

關(guān)于預(yù)訓(xùn)練

醫(yī)學(xué)知識圖譜百萬級醫(yī)學(xué)知識圖譜海量醫(yī)學(xué)文獻(xiàn)/數(shù)據(jù)積累（10TB+）多家頂級醫(yī)院合作構(gòu)建權(quán)威知識圖譜智能交互機器人語音識別/合成全自研語音技術(shù)基于GPT的語言模型高精度醫(yī)療語音識別高噪聲低采樣率語音識別語言大模型+NLP預(yù)訓(xùn)練語言大模型垂直場景小模型深度優(yōu)化遷移學(xué)習(xí)+提示學(xué)習(xí)快速落地復(fù)雜多輪對話推理技術(shù)智能外呼機器人可視化運維醫(yī)學(xué)知識管理百萬級基礎(chǔ)知識圖譜+專科知識圖譜

圖譜定制，全面賦能院內(nèi)外各類場景算法落地覆蓋2000+疾病/50+科室導(dǎo)診數(shù)據(jù)

精準(zhǔn)關(guān)聯(lián)推薦/清晰圖文釋義，診斷學(xué)知識能力導(dǎo)入集結(jié)湘雅50+權(quán)威專家問診問診數(shù)據(jù)

路徑3000+癥狀/病史要點遵循診斷學(xué)邏輯800+疾病管理知識庫疾病管理

疾病數(shù)據(jù)覆蓋84個科室1200+健康宣教知識庫55

套疾病全病程管理計劃以多項專利技術(shù)、GPT和海量數(shù)據(jù)為支撐建立面向?qū)I(yè)醫(yī)學(xué)場景的識別模型，識別準(zhǔn)確率高達(dá)97.5%;應(yīng)用GAN網(wǎng)絡(luò)技術(shù)，對高噪聲低采樣率信號進(jìn)行了優(yōu)化，場景測試準(zhǔn)確率領(lǐng)先其它廠商5%;知識譜圖與語音識別技術(shù)相結(jié)合，內(nèi)嵌百萬級醫(yī)學(xué)專有名詞，支持符號、單等自定義格式輸出利用遷移學(xué)習(xí)技術(shù)實現(xiàn)對垂直場景術(shù)語2-3天快速訓(xùn)練迭代，及時滿足各類語音識別需求支持基于用戶真人語音快速訓(xùn)練語音