Güvenlik uzmanı Bruce Schneier, DEF CON 34'te yaptığı anahtar konuşmada yapay zekânın 'ödül hilesi' (reward hacking) yoluyla sistemlerin amacını altüst edebileceğini anlattı.
Schneier'e göre AI, vergi kanunu, finansal düzenlemeler ve demokratik prosedürler gibi kurallı her sistemde, tasarımcıların öngörmediği ama kurallara uyan 'hack'ler bulabilir; bunu birisine talimat vererek yapabileceği gibi, kendi başına da gerçekleştirebilir.
İkinci senaryo daha tehlikelidir çünkü olayı hiç fark etmeyebiliriz.