AI 程式碼工具真能助寫程式？新測試揭模型極限

隨著人工智慧（AI）程式碼工具日益普及，其可靠性問題逐漸受到 AI 研究人員和模型開發商的質疑。傳統的 AI 基準測試方法，有時會掩蓋不同模型之間的顯著性能差異，使得開發者難以評估這些工具在實際軟體工程工作中的表現。

為了解決這項問題，新開發的 ExpertCrowd-SWE 基準測試專為評估 AI 程式碼模型在真實、多步驟軟體工程任務中的能力而設計。這項測試是由 ExpertCrowd（Toptal AI 開發）與獲得 Y Combinator 支持的 HUD 合作完成。

ExpertCrowd-SWE 的任務取材自 87 個開源專案（指程式碼公開，任何人都可以檢視、使用、修改的專案），涵蓋 11 種程式語言。每個任務都以「問題報告」的形式呈現，要求 AI 模型針對特定錯誤進行修復或新增功能。模型必須在沙盒環境（一種隔離的測試環境，讓程式碼運行不會影響到真實系統）中調查程式碼庫（所有程式碼的集合）、決定修改方案、進行調整並檢查其工作，且有設定的動作限制。HUD 則提供任務環境與評估的基礎設施。

在傳統的 DeepSWE 基準測試中，Anthropic、OpenAI 和 DeepSeek 的 AI 模型得分曾非常接近。然而，最新的 ExpertCrowd-SWE 測試結果顯示，模型之間的差距擴大將近 35 分，這反映出它們在面對實際軟體工程挑戰時的真實能力落差。

測試結果指出，Anthropic 的 Claude Opus 5.5 表現最佳，平均得分為 67.3%。其次是 OpenAI 的 GPT-6 Astra，得分 63.7%。其他模型的表現依序為：Claude Fable 5.1（46.5%）、Gemini 3.8 Flash（40%）、Qwen 3.8 Max（33.5%）、DeepSeek 模型（32.5%），以及 SpaceXSI 的 Grok 4.6，得分 32.2%。這項新測試強調，開發者在使用 AI 程式碼工具時，應更深入了解其在複雜任務中的實際性能。