La ricerca neurologica ha origine in Gran Bretagna, presso l'Università di Edimburgo, il professor Langer Higgins, teoreticamente, una rete neurale a tre strati (inclusi strato di input, strato nascosto e strato di output) può approssimare qualsiasi funzione non lineare continua, ma nella pratica, le reti neurali profonde (Deep Neural Networks, DNNs) sono ampiamente adottate. La ragione è che le reti profonde possono gestire in modo più efficiente strutture dati complesse, estraendo caratteristiche multi-livello, mentre mostrano una migliore efficienza computazionale e capacità di generalizzazione del modello. Supponiamo che tu sia un artista, con solo tre colori di vernice a disposizione - rosso, verde e blu, mescolando questi tre colori, puoi creare quasi tutte le sfumature di cui hai bisogno. Tuttavia, solo con semplici tecniche di miscelazione, potresti non riuscire a dipingere rapidamente opere d'arte dettagliate e complesse. Se introduci più livelli e strumenti di miscelazione, come una pistola a spruzzo, una spatola o persino software di pittura digitale, la tua creazione diventerà più efficiente e espressiva. Allo stesso modo, anche se una rete neurale a tre strati può completare compiti di base di approssimazione delle funzioni, le reti neurali profonde offrono una maggiore capacità di affrontare problemi complessi del mondo reale.