牙科的未來(lái)：從多模態(tài)大型語(yǔ)言模型窺探

ChatGPT 是由 OpenAI 開(kāi)發(fā)的具有數(shù)十億參數(shù)的里程碑式大型語(yǔ)言模型（LLM）之一。LLM 因其在自然語(yǔ)言處理任務(wù)中令人印象深刻的技能對(duì)廣泛的領(lǐng)域產(chǎn)生了深遠(yuǎn)的影響。 一項(xiàng)最新的研究探討了 LLM 在牙科領(lǐng)域的未來(lái)應(yīng)用。研究介紹了牙科中兩種主要的 LLM 部署方法，分別是自動(dòng)牙科診斷和跨模態(tài)牙科診斷。下圖展示了根據(jù)帶有自然語(yǔ)言生成（NLG）的關(guān)鍵字生成的患者記錄的敘述輸出示例。 其中，借助配備的跨模態(tài)編碼器，單個(gè) LLM 可以管理多源數(shù)據(jù)并進(jìn)行高級(jí)自然語(yǔ)言推理以執(zhí)行復(fù)雜的臨床操作。研究通過(guò)提出一個(gè)用例來(lái)展示全自動(dòng)多模態(tài) LLM AI 系統(tǒng)在牙科臨床應(yīng)用中的潛力。 雖然 LLM 提供了顯著的潛在好處，但數(shù)據(jù)隱私、數(shù)據(jù)質(zhì)量和模型偏差等挑戰(zhàn)需要進(jìn)一步研究。總體而言，LLM 有可能徹底改變牙科診斷和治療，這表明牙科臨床應(yīng)用和研究的前景廣闊。

論文鏈接：

https://arxiv.org/abs/2304.03086

(資料圖)

扮演佐克，ChatGPT能玩好文字游戲嗎？

ChatGPT 和 GPT-4 等 LLM 展示了它們與人類(lèi)用戶(hù)交流的卓越能力。一項(xiàng)最新發(fā)布的技術(shù)報(bào)告調(diào)查了它們玩文字游戲的能力。在這種游戲中，玩家必須通過(guò)與游戲世界的對(duì)話(huà)來(lái)了解環(huán)境并做出反應(yīng)。 Zork I（佐克）是一款非常經(jīng)典的迷宮類(lèi)文字游戲，需要角色遵循文化語(yǔ)言命令在大地下帝國(guó)中尋找寶藏：它在不同地點(diǎn)之間移動(dòng)，并與物體互動(dòng)；游戲程序充當(dāng)敘述者，描述玩家的位置和動(dòng)作的后果。 ChatGPT 在人類(lèi)玩家的幫助下扮演 Zork。下圖展示了這個(gè)過(guò)程的開(kāi)始：游戲給出的內(nèi)容被標(biāo)為紫色；ChatGPT 所說(shuō)的內(nèi)容被標(biāo)為綠色。

研究表明，與所有現(xiàn)有其他系統(tǒng)相比，ChatGPT 表現(xiàn)出了更好的性能，但仍然為較低的智能水平。確切地說(shuō)，ChatGPT 無(wú)法通過(guò)玩游戲甚至閱讀游戲手冊(cè)來(lái)構(gòu)建世界模型；它可能無(wú)法利用它已經(jīng)擁有的世界知識(shí)；它無(wú)法隨著比賽的進(jìn)行推斷出每一步的目標(biāo)。

論文鏈接：

https://arxiv.org/abs/2304.02868

ChatGPT還需要思維鏈提示嗎？

思維鏈（CoT）提示可以有效地從 LLM 中引出復(fù)雜的多步驟推理。例如，只需在 MultiArith 數(shù)據(jù)集的每個(gè)輸入查詢(xún)中添加 CoT 指令“讓我們一步一步地思考”，GPT-3 的準(zhǔn)確率就可以從 17.7% 提高到 78.7%。 研究表明，在 ChatGPT 上，CoT 對(duì)某些任務(wù)（如算術(shù)推理）不再有效，而對(duì)其他推理任務(wù)仍然有效。似乎 ChatGPT 已經(jīng)使用 CoT 進(jìn)行了這些任務(wù)的訓(xùn)練，從而記住了指令，因此在應(yīng)用于相同的查詢(xún)時(shí)，即使沒(méi)有 CoT，它也會(huì)隱含地遵循這樣的指令。 下圖展示了由不同 LLM 在沒(méi)有任何提示的情況下生成的算術(shù)推理任務(wù)的示例。研究觀(guān)察到，ChatGPT 能夠在沒(méi)有 CoT 提示的指導(dǎo)下生成逐步的基本原理。GPT-3 和 Codex 在沒(méi)有任何提醒的情況下無(wú)法生成推理步驟。

論文鏈接：

https://arxiv.org/abs/2304.03262

SegGPT：在上下文中分割一切

一項(xiàng)研究提出了一種名為 SegGPT 的通用模型，用于在上下文中對(duì)所有內(nèi)容進(jìn)行分割。將各種分割任務(wù)統(tǒng)一成一個(gè)通用的上下文學(xué)習(xí)框架，通過(guò)將它們轉(zhuǎn)換成圖像的相同格式來(lái)適應(yīng)不同類(lèi)型的分割數(shù)據(jù)。

SegGPT 的訓(xùn)練被制定為一個(gè)上下文著色問(wèn)題，每個(gè)數(shù)據(jù)樣本都采用隨機(jī)顏色映射。目標(biāo)是根據(jù)上下文完成各種任務(wù)，而不是依賴(lài)特定顏色。 經(jīng)過(guò)訓(xùn)練后，SegGPT 可以在圖像中執(zhí)行任意分割任務(wù)或通過(guò)上下文推理的視頻，如對(duì)象實(shí)例、素材、部分、輪廓和文本。結(jié)果表明，無(wú)論是定性還是定量，都能很好地分割域內(nèi)和域外目標(biāo)。 如下圖所示，對(duì)于每個(gè)樣本，左側(cè)的橙色框顯示示例/提示圖像及其相應(yīng)的掩碼，而右側(cè)的藍(lán)色框顯示輸入圖像和生成的掩碼輸出。掩碼表示附加到圖像的明亮區(qū)域。每個(gè)樣本的說(shuō)明（在黃色框中）僅用于說(shuō)明。

值得注意的是，SegGPT 可以執(zhí)行任意對(duì)象分割（分割場(chǎng)景的不同組件，如大紅球、所有球、所有球的輪廓、頂部表面和陰影），多部分分割（自由女神像的特定部分）、彩虹分割、視頻對(duì)象分割（沒(méi)有訓(xùn)練視頻）和可學(xué)習(xí)提示調(diào)整的密集語(yǔ)義分割。

參考鏈接：

https://arxiv.org/abs/2304.03284

圖靈測(cè)試依然是AGI的標(biāo)準(zhǔn)嗎？

即使在最前沿的通用人工智能（AGI）領(lǐng)域，人工系統(tǒng)和人類(lèi)的差距也是極其明顯的。盡管這種差異從根本上劃分了每個(gè)人的能力，但人類(lèi)水平的智能（HLI）幾十年來(lái)一直是 AGI 的目標(biāo)。 該研究反對(duì)圖靈測(cè)試的二元性，討論了 AI 專(zhuān)家如何將模仿游戲誤解為將計(jì)算機(jī)系統(tǒng)擬人化的一種手段，并斷言 HLI 分散了當(dāng)前對(duì)相關(guān)問(wèn)題的研究。 研究認(rèn)為，圖靈測(cè)試應(yīng)該僅僅被視為 AGI 能力的展示，而不是其智力標(biāo)準(zhǔn)。同時(shí)，承認(rèn)人類(lèi)和 AI 兩個(gè)系統(tǒng)之間的基本上下文差異需要區(qū)分每個(gè)系統(tǒng)的任務(wù)。二者應(yīng)該專(zhuān)注于他們最擅長(zhǎng)的任務(wù)：分別是抽象問(wèn)題和專(zhuān)注的個(gè)人任務(wù)。

參考鏈接：

https://arxiv.org/abs/2304.00002

關(guān)鍵詞：