在大模型快速發(fā)展的今天，越來越多的模型開始具備“深度思考能力”。比如，DeepSeek-R1系列模型通過引入特別的提示詞結(jié)構(gòu)：先<think>，再<answer>，使得模型在回答問題之前先進(jìn)行“深度思考”，生成一整段包含反復(fù)自我反思、自我驗(yàn)證的推理過程，然后再給出答案。這一過程顯著提升了模型解決復(fù)雜問題的能力，但也同時(shí)帶來了“過度思考”的問題，即模型在解決簡(jiǎn)單任務(wù)時(shí)也會(huì)生成冗余的推理語(yǔ)句。例如提問 “2+3等于幾”，模型卻要從自然數(shù)定義講起，列出加法交換律，甚至反復(fù)試錯(cuò)，最后才輸出答案是5。這種不必要的“過度思考”現(xiàn)象在推理模型中廣泛存在。

針對(duì)這一問題，中國(guó)科學(xué)院自動(dòng)化研究所聯(lián)合鵬城實(shí)驗(yàn)室提出了一種高效的推理策略AutoThink，賦予推理大模型根據(jù)題目難度自主切換思考模式的能力：通過所設(shè)計(jì)的提示詞和多階段強(qiáng)化學(xué)習(xí)，引導(dǎo)大模型自主決定是否進(jìn)行深度思考。

具體而言，AutoThink提出了一個(gè)簡(jiǎn)單而有效的方案，它涉及兩個(gè)核心技術(shù)點(diǎn)：

（1）最小提示干預(yù)，通過一個(gè)添加省略號(hào)的Ellipsis?Prompt，激活模型隨機(jī)切換思考模式的能力；

（2）多階段強(qiáng)化學(xué)習(xí)，通過三階段強(qiáng)化學(xué)習(xí)，模型學(xué)會(huì)自主根據(jù)問題難度切換思考模式。第一階段讓模型穩(wěn)定地出現(xiàn)快慢兩種思考模式，其中“快思考”用于解決簡(jiǎn)單問題，而對(duì)于復(fù)雜問題則使用“慢思考”；第二階段對(duì)快慢思考行為進(jìn)行優(yōu)化，提高兩種模式下正確回答的能力；第三階段對(duì)快慢思考的思維鏈輸出進(jìn)行精煉。經(jīng)過這個(gè)階段的訓(xùn)練后，模型不再隨機(jī)地決定是否深入思考，而是根據(jù)問題難度自主選擇思考模式。

通過這兩者的結(jié)合，模型具備了類似人類的快慢思考能力：簡(jiǎn)單問題直截了當(dāng)，復(fù)雜問題深度推理，真正做到“按需思考”。如圖所示，相比之下，傳統(tǒng)方法要么手動(dòng)控制思考模式，要么不區(qū)分題目難度，一味地采用簡(jiǎn)潔推理方法壓縮推理過程。

AutoThink與手動(dòng)控制和簡(jiǎn)潔推理方法的核心差異：根據(jù)難度自主切換思考模式

研究團(tuán)隊(duì)在多個(gè)數(shù)學(xué)Benchmark和基礎(chǔ)模型（R1-Style）上驗(yàn)證了AutoThink。實(shí)驗(yàn)結(jié)果顯示：AutoThink不僅能提升R1蒸餾基模的性能，同時(shí)可減少約40%的推理Token消耗，如下表所示。相比之下，大部分開源模型性能增強(qiáng)的代價(jià)是推理長(zhǎng)度（思考過程）的成倍增長(zhǎng)；而簡(jiǎn)潔思考的模型性能相比于基礎(chǔ)模型幾乎無提升甚至下降。特別地，即使在已經(jīng)過大量強(qiáng)化學(xué)習(xí)后訓(xùn)練的DeepScaleR上，AutoThink依然能額外節(jié)省10%的Token消耗。

不同模型和Benchmark上的準(zhǔn)確度和推理長(zhǎng)度對(duì)比

AutoThink提供了一種簡(jiǎn)單而有效的推理新范式，即通過省略號(hào)提示配合三階段強(qiáng)化學(xué)習(xí)，引導(dǎo)模型不再“逢題必思”，而是根據(jù)問題難度自主決定是否思考、思考多少。在多個(gè)數(shù)學(xué)數(shù)據(jù)集上，AutoThink實(shí)現(xiàn)了優(yōu)異的準(zhǔn)確率–效率平衡，既提升性能，又節(jié)省算力，展示出很強(qiáng)的適應(yīng)性和實(shí)用性。

AutoThink已集成于一站式智能科研平臺(tái)ScienceOne，并將用于訓(xùn)練ScienceOne的基座大模型S1-Base。研發(fā)團(tuán)隊(duì)表示，讓大模型“更聰明地思考、更簡(jiǎn)潔地表達(dá)”，是未來科學(xué)基礎(chǔ)大模型演進(jìn)的重要方向。

論文鏈接

代碼鏈接

模型鏈接

來源：中國(guó)科學(xué)院自動(dòng)化研究所