OpenAI發布CoT監控以防止大型模型中的惡意行為

OpenAI 發布了最新研究，指出使用 CoT（思維鏈）監控可以防止大型模型胡言亂語、隱藏真實意圖及其他惡意行為。這也是監督超級模型的有效工具之一。OpenAI 使用新發布的尖端模型 o3-mini 作為被監控對象，並以較弱的 GPT-4o 模型作為監控者。測試環境為編碼任務，要求 AI 在代碼庫中實現功能以通過單元測試。結果顯示，CoT 監控在檢測系統性“獎勵黑客”行為方面表現出色，召回率高達 95%，遠超僅監控行為的 60%。