Elon Musk ha notoriamente equiparato l'intelligenza artificiale a "evocare il demone" e suona l'allarme che l'IA sta avanzando più velocemente di quanto si pensi, ponendo una minaccia esistenziale per l'umanità. Stephen Hawking ha avvertito che l'IA potrebbe decollare e lasciare la razza umana, limitata dal ritmo lento dell'evoluzione, nella polvere. Bill Gates si conta nel campo preoccupato per la super intelligenza. E, sebbene Mark Zuckerburg sia sprezzante nei confronti della potenziale minaccia dell'IA, Facebook ha recentemente spento un motore di intelligenza artificiale dopo aver scoperto che aveva creato un nuovo linguaggio che gli umani non possono capire.
Le preoccupazioni sull'IA sono del tutto logiche se tutto ciò che esiste è materia fisica. Se è così, sarebbe inevitabile che l'IA, progettata dalla nostra intelligenza ma costruita su una piattaforma migliore della biochimica, supererebbe le capacità umane che nascono per caso.
In effetti, in un mondo puramente fisico, l'IA pienamente realizzata dovrebbe essere riconosciuta come l'esito appropriato della selezione naturale; noi umani dovremmo trarne beneficio mentre possiamo. Dopotutto, prima o poi, l'umanità cesserà di esistere, dal sole che si sta esaurendo o da qualcosa di più banale tra cui l'estinzione guidata dall'intelligenza artificiale. Fino ad allora, non sarebbe meglio massimizzare la prosperità umana con l'aiuto dell'IA piuttosto che rinunciare ai suoi benefici nella speranza di prolungare la data di fine dell'umanità?
Per quanto tutto ciò possa sembrare, in realtà, ciò che sappiamo della mente umana suggerisce fortemente che la piena intelligenza artificiale non accadrà. La sola materia fisica non è in grado di produrre intere esperienze soggettive, come guardare un tramonto mentre si ascoltano i gabbiani, e i meccanismi proposti per affrontare le carenze conosciute della materia contro la mente, come le proprietà emergenti, sono inadeguati e falsificabili. Pertanto, è altamente probabile che abbiamo menti immateriali.
Certo, le forme di IA stanno già ottenendo risultati impressionanti. Questi usano forza bruta, memoria enorme e veloce, automazione basata su regole e livelli di pattern matching per eseguire i loro straordinari talenti. Ma questa elaborazione non è consapevole, percepente, sensibile, cognitiva. Il trattamento non va oltre le attività previste anche se i risultati sono imprevedibili. La tecnologia basata su questo livello di IA sarà spesso piuttosto notevole e sicuramente dovrà essere gestita bene per evitare pericolose ripercussioni. Tuttavia, di per sé, questa IA non può portare a una vera replica della mente umana.
L'intelligenza artificiale completa, ovvero l'intelligenza artificiale in grado di eguagliare e forse superare la mente umana, non può essere raggiunta a meno che non scopriamo, tramite mezzi materiali, le basi per l'esistenza di menti immateriali, e poi impariamo come conferirle alle macchine. In filosofia il problema di fondo è noto come problema "qualia". La nostra consapevolezza degli oggetti e dei colori esterni; la nostra autocoscienza; la nostra comprensione concettuale del tempo; le nostre esperienze di trascendenza sia che si tratti di semplice stupore di fronte alla bellezza o alla verità matematica; oi nostri stati mistici, tutti indicano chiaramente qualcosa che è qualitativamente diverso dal mondo materiale. Chiunque abbia una buona conoscenza della fisica, dell'informatica e della mente umana dovrebbe essere in grado di saperlo, specialmente quelli più preoccupati delle possibilità dell'IA.