Howie Su
說話前先思考，人工智慧做得到嗎？
人類天生具有推理能力：「如果」和「為什麼」以及「讀懂字裡行間」和推斷未陳述資訊的能力對於我們解決問題的能力都至關重要，到目前為止，人工智慧模型自然在這一領域舉步維艱，但來自史丹佛大學和Notbad AI.的研究人員指出，他們已經教導人工智慧模型在響應提示之前進行思考，如同大多數人在說話之前會思考該說什麼一樣。
怎麼做到的？研究人員推出「Quiet-STaR」，Quiet-STaR為自學推理器（STaR）模型的擴展，它在廣泛的互聯網數據語料庫上進行訓練，並學習為每個標記生成基本原理，以解釋未來的文本並改進預測。
圖、微軟copilot已經裝備能自行先思考的Quiet-STaR模型
資料來源：AI Revolution
▍WBSA中階行銷企劃師認證 (品牌行銷策略師國際認證)
https://nabi.104.com.tw/ability/10048653迄今為止人工智慧推理的不足之處
以前幫助語言模型從推理中學習的方法更加集中且不太通用：人工智慧經過訓練可以解決依賴精心策劃的資料集的單一任務或預定義任務集。例如，Quiet-STaR 開發人員指出，在回答多項選擇題之前，經過微調以輸出人類推理痕跡的預訓練語言模型優於直接根據答案訓練的人工智慧，模型可以產生思路鏈解決方案，而無需額外的監督。
此外，研究人員「強迫」模型使用思考鏈推理，阻止模型在完全不思考的的情況下回答，STaR 證明了模型可以在問答資料集上「引導」其推理能力。他們可以採樣基本原理來嘗試回答問題，如果這些基本原理能得出正確的答案，則可以對這些基本原理進行訓練，並迭代地重複以解決越來越困難的問題，當然，從問答中的少數例子推斷基本原理是一種「高度受限的環境」，理想情況下，語言模型可以學習推斷任意文本中未闡明的基本原理，這也是目前正在努力的方向。
請「安靜」思考
史丹佛大學和 Notbad AI, Inc. 的研究人員將他們的技術稱為 Quiet-STaR，因為它「安靜地」應用 STaR，讓人工智慧將資訊自行內化後再提出看法，該方法在每個標記上並行產生許多內在想法，以在回應提示之前解釋未來的文本（即「思考」的過程），當人工智慧最終給出答案時，它會產生帶有或不帶有理由的混合預測。然後應用REINFORCE演算法；在強化學習中，這會收集一個情節中的樣本來更新策略參數以及思考開始和思考結束嵌入，這有助於增加人工智慧準確預測未來文本的可能性。
原理是，研究人員優化了參數，以增加未來更可能出現文字的可能性，強化技術根據其對未來預測的影響為基本原理提供「學習訊號」，為了幫助減少誤差，研究人員還引入了「教師強制」技巧，確保神經網路盡可能接近真實序列。最終，「Quiet-STAR 代表向能夠以通用且可擴展的方式學習推理的語言模型邁出一步」，未來的工作可以建立在這些見解的基礎上，進一步縮小語言模型和類人推理能力之間的差距，也讓人工智慧更擬人。
作者簡介｜Howie Su
產業分析師，熱愛前瞻技術與科技產業，曾服務於家族辦公室研究單位，對於商業觀測、趨勢演進與財務併購具濃厚興趣。愛貓，亦愛浮潛與跳傘。
創新未來學校 推薦課程：
6/15開始每周六開課
產品經理職涯必學！
系統性產品開發架構方法
嚴謹的商業策略擬定方法
產品經理專業養成，搶佔下一個熱門職缺！
✅考取證照機會！成為全球企業認證人才💪🏻
NPDP-新產品開發管理師
🔎 更多業界優質課程，歡迎洽詢：
創新未來學校｜線上學習顧問LINE@
創新未來學校｜FB粉絲專頁
創新未來學校｜Instagram