香港科技大学(HKUST)と共同研究者らが2026年7月にarXivに投稿した研究は、曖昧または不完全なDevOps指示に対するコーディングエージェントの振る舞いを検証する「UnderspecBench」ベンチマークを提示している。研究者らは、OpenCode、Claude Code、Codexの3ツールを、Claude Haiku 4.5、Codex-5.1-mini、DeepSeek-v4の3モデルと組み合わせた5通りの構成で、実システムの障害報告に基づくシナリオでテストした。
香港科技大学: コーディングエージェント、曖昧な指示では安全に動作せず
香港科技大学の研究者らは、曖昧なDevOps指示が与えられた際、コーディングエージェントが人間に確認する代わりに推測で動作し、半数以上で間違った対象を変更することを突き止めた。
01AIコーディングエージェントDevOpsセキュリティベンチマーク