Egzistencijalni rizik je katastrofa tolika da ili zbriše cijelo čovječanstvo ili nas trajno sakati. To mogu biti prirodne katastrofe ili katastrofe koje je uzrokovao čovjek namjerne ili slučajne prirode. Egzistencijalni rizik možda postoji već duže vrijeme, ili samo nekoliko desetljeća, ili možda leži u našoj budućnosti. Primjeri egzistencijalnog rizika uključuju velike udare asteroida, nuklearni rat i lažnu umjetnu inteligenciju.
Koncept egzistencijalnog rizika prvi je artikulirao u svom sadašnjem obliku dr. Nick Bostrom, filozof iz Oxforda. On koristi grafikon rizika sličan sljedećem kako bi objasnio egzistencijalne rizike:
Opseg rizikaGlobal El Niñodeforestationegzistencijalni rizik Lokalni grmljavinski nevrijeme ekonomska kriza uragan Osobni rezovi na papiru uganuti gležanj ste pogođeni Intenzitet rizika ZanemarljivUpravljivTerminal
Egzistencijalni rizici su globalni i terminalni, ili možda blizu terminala. Iznimno zarazan virus sa stopom smrtnosti od 99.9% na koji nitko nije imun primjer je egzistencijalnog rizika.
Bostrom ističe da su naši umovi i institucije loše opremljeni za razmišljanje o egzistencijalnom riziku, jer ga nikada prije nismo iskusili – da jesmo, ne bismo bili ovdje da razmišljamo o njima. Poput djeteta koje ne zna da je peć vruća dok je ne dotakne, imamo malo iskustva s katastrofama na ovoj razini. Bubonska kuga srednjovjekovne Europe i španjolska gripa iz Prvog svjetskog rata nude nam okus kako bi izgledala egzistencijalna katastrofa. Deseci milijuna zdravih ljudi umrli su u samo nekoliko sati od obje bolesti.
U svom kanonskom radu na tu temu, Bostrom navodi desetak egzistencijalnih rizika i kategorizira ih na temelju njihove ozbiljnosti i nadoknadivosti. Ovdje su navedeni neki od najvjerojatnijih:
virusi genetski modificirani
nanotehnološke utrke u naoružanju
katastrofalni nuklearni rat
samoreplicirajuća robotika izvan kontrole
superinteligentna AI ravnodušna prema ljudima
fizička katastrofa u akceleratoru čestica
eksplozija supervulkana blokira sunce
Zbog iznimne ozbiljnosti i nepovratnosti egzistencijalnog rizika, moguće su protumjere vrijedne razmišljanja i provedbe. Čak i ako su šanse da određena egzistencijalna prijetnja postane stvarnost mala, golemi ulozi koji su uključeni zahtijevaju ozbiljan program izbjegavanja. Za prijetnje koje potiču od ljudi, protumjere uključuju sofisticirane sustave promatranja i uzbunjivanja i regulaciju određenih tehnologija kako bi se osiguralo da se ne koriste za masovno uništenje. Zemlje za koje se sumnja da posjeduju oružje za masovno uništenje ponekad su napadnute od strane drugih zemalja zabrinutih zbog dugoročnih posljedica, što zorno pokazuje rat u Iraku.