Il transumanesimo: provocazione, illusione o crimine?

1trans

Riflessioni sulla sfida posta dal problema del secolo

Uno spettro si aggira per il mondo: il transumanesimo. Ma cos’è il transumanesimo? Digitalizzazione, intelligenza artificiale, Big Data? O solo un’ideologia? Invece di partire da queste definizioni, che al primo tentativo non potrebbero spiegare altro se non il fatto che il transumanesimo vuole andare oltre la precedente comprensione dell’umanesimo con innovazioni tecniche, ha senso rendere prima riconoscibile il fenomeno attraverso le deviazioni del suo emergere. Su questo sfondo, le visioni transumaniste emergono come una sfida provocatoria al pensiero e alla vita contemporanea.

Cominciamo con un breve ripasso della storia recente del rapporto tra uomo e tecnologia nel corso della rivoluzione industriale: già due volte l’umanità è stata vittima del progresso tecnico sotto forma di una macchina che ha preso vita propria: nel 1914-18 e di nuovo nel 1939-45. La reazione del mondo civilizzato è stata la richiesta di sostituzione delle forme di governo imperiali, di democratizzazione, di rivoluzione.

rudolf_joseph_lorenz_steiner_anthroposophie_soziale_dreigliederung_sozialen_organismus_kritisches_netzwerk_geistesleben_rechtsleben_wirtschaftsleben_freiheit_gleichheit_bruederlichkeit.jpgRudolf Steiner ha presentato il progetto più radicale con le sue idee sullo smantellamento dello Stato unitario attraverso una tripartizione dell’organismo sociale.

Queste idee, presentate nella sua pubblicazione del 1919 I punti essenziali della questione sociale, incentrato sull’autogestione della vita economica e spirituale da parte di esseri umani autodeterminati, in particolare sulla liberazione delle forze spirituali e creative dalla tutela dello Stato economicamente dominato.[1]

Notiamo con che cosa Steiner ha introdotto i“punti chiave“: con la necessità di restituire ai proletari, degradati dalla macchina, la loro dignità di esseri umani, per metterli in grado di svolgere il loro compito storico di liberare l’umanità in un nuovo stadio di sviluppo.

L’essere umano libero e maturo era l’obiettivo di queste idee.

La questione del rapporto tra uomo e macchina fu uno dei temi centrali di Steiner sino alla sua morte. L’umanità non poteva evitare la”fusione tra uomo e macchina”, spiegava, era il corso dell’evoluzione.

Letteralmente:

“Queste cose non devono essere trattate come se dovessero essere combattute. Si tratta di una visione del tutto errata. Queste cose non mancheranno di accadere, dovranno verificarsi. Si tratta solo di vedere se, nel corso della storia del mondo, saranno realizzate da quelle persone che conoscono in modo disinteressato i grandi obiettivi dell’essere terrestre e che modellano queste cose per la salvezza degli uomini, oppure se saranno realizzate da quei gruppi di uomini che sfruttano queste cose solo in senso egoistico o di gruppo.

Si tratta di questo. Non è il cosa che conta in questo caso, il cosa certamente sì; è il come che conta, come si affrontano le cose. La cosa è semplicemente nel senso dello sviluppo della terra. L’unione dell’essere umano con l’essere macchina sarà un grande problema epocale per il resto dell’evoluzione terrestre.“[2]

Con questa visione, Steiner non era fondamentalmente diverso dai suoi contemporanei; anche lui era abbastanza aperto alle innovazioni tecniche che potevano rendere la vita più facile, più sana e più interessante, come lo sviluppo dell’automobile, l’illuminazione elettrica dei palcoscenici, ecc. Non è necessario approfondire l’argomento in questa sede. Tuttavia, Steiner ha sottolineato che il progresso tecnico deve essere colto come una sfida per un fondamentale rinnovamento spirituale e sociale, non solo come un impulso a riformare o conquistare lo Stato nazionale unitario dominante. E non dovrebbe limitarsi agli interessi nazionali.

La visione di Steiner all’epoca includeva anche la speranza che si potessero sviluppare macchine che fossero direttamente spinte dall’uomo, dalla sua energia morale, e non guidate da energie extraumane. In questo contesto, vale la pena ricordare l’inventore americano John Worrell Keely che, alla fine del XVIII secolo, sviluppò un motore [noto come motore KeelyH.S.] che non era alimentato da nessun’altra fonte di energia se non quella della sua persona. All’epoca, le dimostrazioni di Keely furono archiviate come frodi. Oggi si può guardare a questa invenzione con occhi diversi. Su questo punto si dovrà tornare in seguito.[3]

Se volete saperne di più su queste domande di Steiner, dovreste cercare Paul Emberson. Ha analizzato in dettaglio la storia dello sviluppo dell'”intelligenza artificiale” (AI), seguendo le orme di Steiner, con il libro “Da Gondishapur alla Silicon Valley [4].

Tuttavia, alcune frasi di Emberson, pronunciate in anticipo rispetto al primo volume della sua indagine, devono essere riportate nelle ulteriori spiegazioni:

Nella fisica moderna“, scriveva,“comincia già ad affermarsi una verità ben nota alla scienza dello spirito: fondamentalmente, la materia è una parvenza basata sull’interazione di forze fondamentali. Alla base dell’azione di queste forze c’è un’intelligenza universale, una coscienza essenziale universale. Naturalmente, questa intelligenza universale non funziona solo in modo generale. Nei fenomeni organizzati e nei sistemi complessi si differenzia e assume quindi un carattere specifico. Più alto è il grado di sviluppo di un sistema complesso, più l’intelligenza sottostante assume un carattere proprio.

L’esempio più impressionante è l’uomo stesso. Ma il principio non si applica solo agli esseri organici; le stesse considerazioni valgono per tutti i sistemi inorganici, compresi i prodotti della tecnologia – macchine, dispositivi elettrici e simili. Più la macchina diventa complessa e versatile, più l’intelligenza universale assume un carattere specializzato e più sviluppato.“[5]

Emberson, sulla base di Steiner, spiega nei suoi libri che è importante ottenere una chiarezza senza pregiudizi sulle forze costruttive e distruttive di questa intelligenza per poter rafforzare moralmente le forze costruttive e respingere le altre.

Purtroppo, la storia ha dimostrato che questi appelli a una tecnologia moralmente guidata sono rimasti in gran parte inascoltati. In Occidente come in Oriente, le innovazioni tecniche sono state portate avanti sotto la pressione spietata dell’industrializzazione forzata. Il progresso incondizionato, scientificamente supportato, era di nuovo sulla bocca di tutti, ancora una volta legato anche agli interessi nazionali. Di conseguenza, milioni di persone furono ancora una volta schiacciate da una macchina da guerra altamente equipaggiata.

Oggi stiamo entrando in quella che viene definita la terza rivoluzione industriale, in cui il progresso tecnico e la crescita economica vengono nuovamente elevati al rango di fede. Per la terza volta, la “scienza” promette di risolvere con mezzi tecnici l’annoso problema della ricerca da parte dell’uomo della prosperità perpetua, della felicità e della vita lunga, se non eterna, questa volta rivendicando la definitiva redenzione dell’uomo dalle sue dipendenze naturali attraverso l’ottimizzazione tecnica dell’uomo, forse addirittura la sua sostituzione con la macchina intelligente.

Kurzweil, Papa dell’intelligenza artificiale

Questo ci porta al transumanesimo. I suoi sostenitori sono scienziati di spicco, maschi in numero significativamente maggiore rispetto alle donne, appartenenti alla generazione cresciuta con la rivoluzione informatica degli anni Sessanta. Promettono di migliorare la “condizione umana” attraverso lo sviluppo di biotecnologie assistite da computer, in modo tale che la povertà, la malattia e la morte diventino un ricordo del passato.

Sigmund Freud ha posto l’accento sull’inconscio in relazione alla questione della conditio humana, ed Erich Fromm ne ha fatto il centro del suo interesse per la conoscenzaH.S.]

Il rappresentante più noto, in un certo senso il papa della scena, è l’austro-americano Raymond “Ray” Kurzweil: genitori musicisti, lui stesso pittore e musicista, inventore fin da bambino, oggi direttore del dipartimento tecnico di Google nella Silicon Valley. Quindi, di fatto al centro della rivoluzione dell’intelligenza artificiale e di Internet.

Kurzweil è considerato un profeta dell’immortalità tecnica e dell’ottimizzazione dell’uomo in direzione di un essere macchina sovrumano. Sottolinea che questo essere non lascerà indietro l’uomo, né la sua fisicità parteciperà all’ottimizzazione. Piuttosto, nel corso delle capacità di auto-miglioramento dell’IA e nel suo collegamento con l’ingegneria genetica, la nanotecnologia e la robotica, l’intelligenza limitata dell’uomo sarà innalzata a un livello superiore di effettiva superintelligenza, raggiungendo così il più alto stadio evolutivo possibile – la, come lui la chiama,“singolarità. Così il sottotitolo del suo magnum programmatico,Umanità 0.2, la singolarità è vicina”.“[6]

Per chi non lo sapesse: Nanotecnologia è il nome dato alla manipolazione tecnica a livello atomico, in cui le parti più piccole di dimensioni atomiche possono essere combinate per produrre nuovi effetti. L’interazione tra ingegneria genetica, nanotecnologia e robotica, che Kurzweil riassume con l’acronimo GNR, rappresenta la tecnologia del futuro.

Vediamo la visione del mondo di Kurzweil: egli si definisce un“modellista” che vuole rimodellare e ricreare il mondo attraverso il “potere delle idee“, come recita il titolo dell’introduzione del libro sulla Singolarità“. Il mondo, spiega Kurzweil, è costruito su schemi che nel corso dell’evoluzione si sono combinati per formare combinazioni sempre più complicate. Gli esseri umani, dice, sono la combinazione più complicata che esista. Lo descrive in modo strutturalmente simile a Emberson(!) solo da un punto di vista opposto, cioè che il mondo può essere portato alla “superintelligenzatrasferendo i suoi schemi cerebrali nei programmi dell’intelligenza artificiale. Così, l’attuale essere umano servirebbe come stadio organico di sviluppo per l’intelligenza delle macchine, ma rimarrebbe indietro rispetto al nuovo stadio evolutivo come“essere organico“.

In questo modo, secondo Kurzweil, l’uomo diventerebbe un donatore di intelligenza per la macchina. Sembra plausibile: dopo tutto, sarebbe solo una logica continuazione delle attuali pratiche di donazione degli organi. In questa concezione del futuro, si accetta consapevolmente una divisione dell’umanità in un piccolo gruppo di beneficiari e nella grande massa di”esseri organo” che tendono a essere superflui.

Cos’è questa: una provocazione? Follia? Crimine?

La risposta deve rimanere aperta.

Kurzweil si aspetta una resistenza a questa prospettiva solo in “apparenti controversie“, con “fondamentalisti” e “luddisti“. Per fondamentalisti intende persone che aderiscono a una “versione superata dell’umanesimo“. I luddisti sono probabilmente la massa di “esseri organici” che sono rimasti indietro. Kurzweil non fa ulteriori commenti in merito. La resistenza si sarebbe ovviamente rafforzata con l’aumento del tasso di progresso. Ma

“i guadagni in termini di salute, ricchezza ed espressione, creatività e conoscenza saranno innegabili“. ” (Pag 347)

Maschinenstuermer-Maschinensturm-Luddismus-Maschinenherrschaft-Maschinenintelligenz-Frame-breakers-Luddites-Kritisches-Netzwerk-Weberaufstand-Industrielle-Revolution

Ma continuiamo a seguire le posizioni di base di Kurzweil: L’evoluzione è esponenziale, spiega. Oggi è guidata dalla crescita economica. Nell’IA, che ora si sta sviluppando da sola, la curva di crescita sta accelerando ancora una volta verso la superintelligenza. Entro il 2020, l’intelligenza umana sarà parzialmente integrata nella superintelligenza emergente, ed entro il 2045 sarà completamente integrata, anche se, come detto, rimarrà un sistema organico.

In questo modo, l’uomo avrà superato la sua mortalità. La superintelligenza inonderà finalmente di intelligenza lo “stupido” cosmo. In definitiva, questo potrebbe essere inteso anche come il cammino verso Dio. – Letteralmente:

“In un certo senso, si potrebbe dire che la Singolarità riempirà l’universo di spirito. (…) L’evoluzione si muove inesorabilmente verso il concetto di Dio senza mai riuscire a raggiungere pienamente questo ideale. Possiamo quindi concepire la liberazione del nostro pensiero dagli stretti vincoli della sua forma biologica come un’impresa spirituale.“[7]

Nessun commento.

Lo stesso Kurzweil spera, tra l’altro, di poter ancora superare questo limite dell’immortalità. Secondo le sue stesse affermazioni, egli mantiene il suo organismo in forma assumendo, tra l’altro, 250 additivi al giorno.

Sotto il titolo: “La scomoda questione della coscienza”, Kurzweil dedica finalmente un intero capitolo alla “difficile” questione della coscienza nel suo libro sulla “Singolarità“.

La questione della coscienza, spiega, è la più importante “questione ontologica” a cui bisogna prestare attenzione.  Accenna anche alla parola “amore” – ma poi lascia che il chiarimento di cosa possano essere la “coscienza“, l‘”amore“, l‘”io” scompaia nel suo laboratorio con un trucco notevole: vale a dire, utilizzando il suo stesso esempio per giocare con la questione se, se fosse clonato, sarebbe ancora io, Ray o io 2 un altro Ray, o  io 1 e io 2 allo stesso tempo, dove la sua coscienza sarebbe allora di se stesso, ecc.[8].

Non trova una risposta, ma invece di ammettere l’ignoranza e di formulare il chiarimento come domanda di ricerca, passa senza ulteriori indugi alla prognosi che la coscienza – visto che essa, come ogni cosa al mondo, è costituita da schemi – potrebbe potenzialmente essere ulteriormente efficace con l’aiuto dell’intelligenza artificiale e quindi anche riconosciuta.

“Nonostante questi dilemmi, la mia filosofia personale“, scrive,“continua a basarsi sul patternismo: io sono un modello coerente nel tempo. Sono un modello in evoluzione e posso influenzare la direzione della mia evoluzione.“[9] [Patternism = dalla parola inglese “pattern”, cioè modello, schema; H.S.]

Ciò che deve emergere per primo, la superintelligenza, è quindi già presupposto come iniziatore della sua comparsa. Ciò che è inteso come argomento per negare il problema, lascia che proprio questo problema emerga involontariamente, ma tanto più chiaramente, come domanda irrisolta, ossia: che cos’è l’Io? Come fa a entrare nella macchina! O forse no?[10].

Boström, l’etico

Un altro testimone del transumanesimo è Nick Boström, (* 10 marzo 1973 come Niklas Boström), professore a Oxford. Boström non è un professionista, ma un importante sostenitore della valutazione etica delle tecnologie, un critico, ci si potrebbe aspettare.[11]

Boström critica effettivamente l’esuberante ottimismo di Kurzweil, ma solo per quanto riguarda la sua valutazione della nanotecnologia, che considera più pericolosa dello sviluppo dell'”intelligenza artificiale”. Per il resto, tuttavia, si aspetta non solo lo sviluppo dell’IA in superintelligenza, ma un’intera“esplosione dell’intelligenza“. Con questa aspettativa, si trova sullo stesso terreno di Kurzweil.

Nick-Bostrom-Niklas-Bostroem-Philosophie-der-kuenstliche-kuenstlichen-Intelligenz-artificial-intelligence-Kritisches-Netzwerk-Bioethik-Technikfolgenabschaetzung-Superintelligenz
Nick Boström

La questione di Boström è il controllo. Egli delinea ampi scenari su come l‘”esplosione dell’intelligenza“, prima che abbia luogo, potrebbe essere guidata e domata in modo“utile alla vita” dal punto di vista fattuale, etico e morale. Conclude che non ci sarebbe alcuna garanzia in tal senso. Anche la questione dell’io lo ostacola. Ma – nonostante tutto il suo approccio etico – egli evita la questione in modo ancora più radicale di Kurzweil, esternalizzandola senza tanti complimenti come una categoria metafisica che non è oggetto delle sue riflessioni.[12]

Nello stesso spirito di Kurzweil, è altrettanto generoso con i problemi delle conseguenze. Arriva a speculazioni quasi mostruose: Ad esempio, si chiede quali conseguenze avrà l'”esplosione dell’intelligenza” sull’economia, in particolare sulla forza lavoro. La sua risposta: potrebbe essere che, nelle condizioni di “esplosione dell’intelligenza”, il benessere della macchina potrebbe diventare il fattore più importante rispetto agli “animali da lavoro” lasciati indietro.

Per una volta, perché nessuno potrebbe crederci, facciamo un’eccezione e lo citiamo direttamente:

“Tuttavia, se queste macchine hanno coscienza…”, scrive Boström,“allora bisogna considerare che cosa significhi per loro la vita in un tale scenario, anzi, a causa del loro numero potenzialmente enorme, il benessere delle macchine potrebbe allora diventare il fattore più importante di tutti“. “[13]

La soluzione di Boström: far progredire la superintelligenza il più rapidamente possibile in modo che, essendo più intelligente di noi, possa impedire lo sviluppo di sviluppi dannosi.

E anche questo, perché è quasi impossibile da credere, nel testo originale:

“Poiché sarebbe generalmente più capace di noi, commetterebbe meno errori, avrebbe maggiori probabilità di riconoscere quando le precauzioni sono appropriate e di attuarle correttamente. (…) È importante avere la superintelligenza prima che (così nel testo) esistano altre tecnologie pericolose, come la nanotecnologia avanzata.“[14]

Anche Boström compie lo stesso salto mortale: l’elusione della questione dell’Io nella fattibilità tecnica.

Superintelligenz-artificial-intelligence-Bewusstsein-technologische-Singularitaet-Nick-Bostroem-Transhumanismus-Kritisches-Netzwerk-Maschinenwesen-Maschinenintelligenz-Robotik

Forze sullo sfondo, finanziatori

Ma che nessuno pensi che Ray Kurzweil o Nick Boström siano dei pazzi isolati. Come è stato già detto, Kurzweil è a capo del dipartimento tecnico di Google. Ha conseguito 20 dottorati honoris causa ed è stato decorato da tre presidenti degli Stati Uniti. Con le sue pubblicazioni e apparizioni, è uno dei protagonisti più importanti sulla scena internazionale dell’IA. Il suo lavoro ha portato allo scanner piatto, a programmi di traduzione e a protesi che possono essere mosse indirettamente dal cervello, ad apparecchi acustici per tradurre i segnali acustici per i non vedenti e a molto altro ancora in grado di facilitare e arricchire tecnicamente la vita quotidiana.

Raymond Kurzweil

Boström è una delle principali autorità internazionali in materia di valutazione etica delle tecnologie.

Dietro di loro c’è la grande maggioranza degli scienziati di IA di oggi, finanziati dai giganti della Silicon Valley, Google, Amazon, Facebook, ecc. e sostenuti da vari consorzi internazionali, dal Pentagono e da forze simili. Oggi si stanno investendo miliardi in questa e in altre ricerche simili. Con il progetto decennale “Human Brain Project”(HBP) nato in Svizzera nel 2013, anche l’UE è coinvolta. Questo progetto mira a ricostruire completamente un cervello umano utilizzando la biotecnologia. [15]

Come ultima ratio della politica nell’attuale stallo globale, la frase è ora:“Chi controlla l’IA controlla il mondo”. Di conseguenza, la ricerca si sta svolgendo per la terza volta in una competizione tra nazioni.

Il confuso avvertimento di Harari

Una variante particolare del pensiero transumanista viene attualmente propagata nella persona dello storico israeliano Yuval Noa Harari Egli mette in guardia sulla scomparsa dell’umanità in un dominio biotecnologico dei dati.

Harari ha 44 anni, è vegano, omosessuale dichiarato, sposato, amante degli animali; da buddista dichiarato, dichiara pubblicamente che senza la meditazione intensiva quotidiana e i ritiri regolari ogni due anni , non sarebbe stato in grado di affrontare la questione. Ed esorta i lettori a seguire il suo esempio.

Yuval-Noah-Harari-Homo-Deus-Eine-Geschichte-von-Morgen-Transhumanismus-Eine-kurze-Geschichte-der-Menschheit-Kritisches-Netzwerk-Humanismus-Konditionierung

Harari ha pubblicato due bestseller mondiali che sono stati tradotti in 40 lingue:Sapiens da Animali a Dei. Breve storia dell’umanità” eHomo Deus“, in cui descrive la storia dell’umanità dal “Big Bang” alla transizione verso l’era del previsto dominio delle macchine. Nel frattempo, oltre ad un terzo libro intitolato “21 lezioni per il XXI secolo  tiene conferenze in vari forum in tutto il mondo. Tra gli altri, è stato invitato anche dal Consiglio etico tedesco[16]

Harari dipinge un quadro completo della minaccia che la coscienza e la bioindustria rappresentano per l’umanità. Combinando questo con lo sviluppo dei “BIG Data”, il suo quadro assume dimensioni davvero monumentali di un’imminente dittatura dell’IA. Il suo messaggio è stimolante, e per questo va indubbiamente ringraziato!

Allo stesso tempo, però, i suoi avvertimenti si fondano su una base intellettuale e su una definizione in cui egli stesso riduce l’uomo, che chiama freddamente “Homo sapiens”, a un programma controllato da geni, algoritmi e schemi neurali che potrebbero – e lo faranno – essere ottimizzati tecnicamente in futuro. Ciò che rimane è un irritante distruttivismo, persino un nichilismo: Harari descrive l’uomo come un animale più evoluto, che si distingue dalla scimmia solo per la sua capacità di inventare “narrazioni” che gli permettono di concentrare le forze collettive in modo tale da potersi imporre sugli “altri animali”.

Le “Narrazioni” – per Harari sono miti, nel senso di invenzioni geniali, religioni, correnti temporali come l’Illuminismo, idee commerciali, falsi, spiegazioni del mondo di ogni tipo fino all’umanesimo, che egli intende come culto dell’uomo da parte dell’uomo, come presuntuosa divinizzazione dell’“Homo sapiens”.

Guardando alla storia recente, Harari arriva così all’illusione di descrivere le “narrazioni” del socialismo/comunismo, del liberalismo e del fascismo come “sette umaniste” che ora stanno perdendo il loro ruolo a favore della “religione del dataismo” come nuova “narrazione”.

[Aggiunta di H.S.: si parla di Dataismo con la t, non di Dadaismo. Harari intende il termine “dataismo” come una nuova religione che sta per sostituire la precedente religione dell”umanesimo”. Secondo Harari, l’umanesimo considera i sentimenti dell’individuo come la suprema autorità decisionale e la variabile target che deve essere sempre considerata. Il dataismo vede le persone come (portatrici di) algoritmi, che finora sono stati i migliori a prendere decisioni per la vita privata e sociale. I nuovi tipi di algoritmi, soprattutto quelli basati sul riconoscimento di modelli e correlazioni, possono, secondo il dataismo, prendere decisioni più intelligenti anche in quanto o perché mancano di coscienza e sentimenti. H.S.]

Mentre Harari, cosa ancora più irritante, attribuisce al fascismo, pur condannandone la brutalità, il carattere speciale di un”umanesimo evolutivo”, nella misura in cui questo era orientato allo sviluppo dell’uomo nel superuomo.

L‘”obiettivo supremo dei nazionalsocialisti”, scrive Harari in Sapiens da Animali a Dei. Breve storia dell’umanità“, letteralmente,”era quello di salvare l’umanità dalla decadenza e promuoverne lo sviluppo”. (…) I biologi hanno da tempo confutato le rozze teorie razziali dei nazionalsocialisti. (…) Secondo lo stato delle conoscenze scientifiche nel 1933, le idee dei nazionalsocialisti non erano affatto assurde“.

Solo un israeliano che si è distaccato dall’ebraismo può scrivere qualcosa del genere.

Ci sono molte cose che potrebbero essere corrette sulle posizioni di Harari e sulla sua visione della storia in generale. Ciò non avverrà in questa sede. Tuttavia, in quanto provocazioni che rivelano l’essenza, l’attualità, la seducente suggestione e il pericolo della sfida transumanista, i libri di Harari sono senza dubbio una lettura utile.

Inoltre, i libri di Harari fanno sì che gli attacchi all’Io che giungono disinvoltamente da Kurzweil e Boström emergano chiaramente e apertamente per quello che sono: il più platonico materialismo biologista, nonostante tutti i travestimenti idealistici che si trovano in Kurzweil quando parla del“potere delle idee” o descrive la via verso la superintelligenza come la via verso Dio, e nonostante le pratiche di meditazione – e gli appelli di Harari stesso.

Un breve sguardo alle posizioni che attraversano le pubblicazioni di Harari e che egli presenta in modo penetrante come verità generali può chiarire ulteriormente questo aspetto:

– I sentimenti sono il prodotto di reazioni biochimiche.

– La “scienza” non è riuscita a trovare un’anima.

– L’io è un’invenzione, un’illusione, inesistente.

– Le decisioni sarebbero dettate da algoritmi.

Ma d’altra parte:

– La coscienza esiste, ma non può essere descritta.

– Anche lo spirito esiste. Solo che “noi” non siamo ancora riusciti a esplorarlo.

Nel farlo, Harari conosce l’arte di mantenere le sue posizioni vagamente sospese tra la resa di ciò che “noi” o “la scienza” pensiamo oggi, tra la critica di questo pensiero e le proprie opinioni. Due esempi possono essere sufficienti per dimostrare questo stile:

All’inizio del terzo millennio della nostra era, il futuro dell’umanesimo evolutivo non è chiaro...”, scrive.“Oggi nessuno parla di sterminio di ‘razze e popoli inferiori’, ma molti pensano di allevare superuomini con l’aiuto delle ultime scoperte biologiche. Allo stesso tempo, c’è un divario sempre più ampio tra le convinzioni dell’umanesimo liberale e le ultime scoperte delle scienze biologiche che non possono più essere ignorate.

Lo Stato costituzionale liberale e la democrazia liberale si basano sulla convinzione che ogni essere umano abbia una natura umana sacra, indivisibile e inalienabile che dà senso e significato al mondo e da cui promana tutto il potere morale e politico. Questa non è altro che l’idea cristiana dell’anima immortale libera, anche se in una veste diversa. Ma negli ultimi secoli le scienze della vita hanno messo sempre più in discussione questa nozione. Non hanno trovato un’anima all’interno dell’essere umano, ma solo organi.

Il nostro comportamento non è controllato dal libero arbitrio, ma da ormoni, geni e sinapsi, proprio come gli scimpanzé, i lupi e le formiche. Il nostro Stato di diritto e la nostra democrazia amano nascondere queste scomode verità sotto il tappeto. Quanto tempo ci vorrà prima di abbattere il muro tra le scuole biologiche e quelle di legge?“[18]

E con questo, può bastare:

Tuttavia, una volta accettato che non esiste un’anima e che gli esseri umani non possiedono un nucleo interiore dell’essere chiamato ‘sé’ o ‘io’, non si può più chiedere in modo significativo: “Come fa l’io a scegliere i suoi desideri?” Sarebbe come chiedere a uno scapolo: “Come fa tua moglie a scegliere i suoi vestiti?” In realtà, c’è solo un flusso di coscienza, e all’interno di questo flusso i desideri sorgono e passano, ma non c’è un io permanente che possiede i desideri, quindi non ha senso che io scelga i miei desideri in modo deterministico, casuale o libero. “[19]

Cosa c’è in questi testi di Harari? Chi non ha trovato un’anima? Chi siamo noi? (Per chi volesse seguire più da vicino queste e altre affermazioni, ecco una piccola guida attraverso le 1500 pagine dei suoi testi)[20].

I libri di Harari devono quindi essere letti come un doppio avvertimento, per così dire: essi fanno capire quanto profondamente anche un ammonitore come lui sia ancora invischiato nello spirito da cui vuole salvare il mondo, quando nega l’io, l’anima, la possibilità di decidere liberamente e allo stesso tempo invita alla meditazione per trovare dentro di sé lo spirito che l’umanità non ha ancora trovato.

Nel suo duplice messaggio, spicca il paradosso che la questione dell’io, in quanto e proprio perché oggi messa da parte dal credo transumanista, si muove con ancora maggiore evidenza come sfida al centro dell’attenzione sociale.[21] La questione dell’io è una questione dell’essere umano.

Interfacce dell’IO e della macchina “intelligente

Questo ci porta alla questione dell’incontro tra le fantasie transumaniste e la realtà attuale, e alla domanda su quali sfide ne possono derivare per il pensiero e l’azione attuali.

Esaminando le visioni di Kurzweil e Boström e le immagini minacciose di Harari, vengono in mente tre domande fondamentali.

– Sulla questione dell’Io:

Le macchine “intelligenti” possono vivere per sempre? La questione nasce dalla polarità tra l’io mortale e la macchina non mortale, dalla cui durata persone come Kurzweil e altri traggono la speranza di una vita eterna con l’aiuto delle macchine.

Tesi: No, le macchine devono diventare “mortali”. Invece di sperare nell’immortalità della macchina e negare l’Io, si tratta di coltivare la coscienza dell’Io e lasciare che le macchine “muoiano”.

– Sulla questione della libertà:

La macchina “intelligente” può e potrà essere svincolata dal suo vincolo a scopi limitati, come aspirano i transumanisti? Questa domanda nasce dalla fondamentale polarità di significato e scopo che si crea tra l’uomo e la macchina.

Tesi: No, è il legame con uno scopo che dà alla macchina il suo significato. Il suo scopo consiste nel dare alle persone l’opportunità di superare la propria fissazione su uno scopo e di espandere la propria libertà. L’indipendenza della macchina spingerebbe l’essere umano alla passività e all’impotenza.

– Sulla questione del controllo:

Le macchine “intelligenti” possono correggersi da sole, come pensano gli sviluppatori di AI?

Tesi: No, devono essere guidati moralmente. Come potrebbe essere questa leadership morale? Di quali competenze abbiamo bisogno per farlo? Entriamo un po’ più nel dettaglio.

Io, libertà, controllo

Sulla prima tesi, la questione dell’Io:

Le macchine “intelligenti” devono diventare “mortali” – questa frase non va ovviamente presa alla lettera. Ma i fatti sono chiari: l’uomo è mortale e consapevole della sua mortalità. La macchina “intelligente”, invece, almeno il suo nucleo “intelligente”, cioè la memoria, è progettata per durare, se non in eterno, a patto che non esaurisca l’energia o non ne sia privata. Ma non è consapevole della sua durata: questa semplicemente ha luogo.

In ogni caso, l’uomo e la macchina sono ai poli opposti nella questione della loro durata. È interessante notare che finora la nostra lingua ha usato la stessa parola sia per l’uomo che per la macchina: durata della vita, durata della vita di un essere umano o durata della vita di una macchina. Ma è proprio la realizzazione della sua mortalità che permette all’Io di crescere nell’essere umano e lo rende uno spazio di polarità tra il mondo, il cosmo, lo spirito e la natura-limite organica dell’essere umano.

La coscienza di una continuità dell’Io deriva dalla realizzazione del ruolo dell’uomo come anello temporaneo di una catena di metamorfosi eterne e senza tempo. Il dolore, la gioia, la compassione, i sentimenti, la fantasia sociale hanno origine nella percezione cosciente di questi fatti, che trova la sua massima espressione nel pensiero formativo.

La macchina “intelligente”, invece, è progettata per un’esistenza in cui le informazioni individuali e le interrelazioni complesse (per gli esseri umani, si direbbe: individuali e collettive) sono ugualmente sospese nell’anonimato della memoria comune. Nella memorizzazione e nell’uso di questo anonimato permanente, le macchine “intelligenti” sono senza dubbio superiori agli esseri umani. Ma non hanno accesso a toni intermedi, nemmeno quando sono in grado di ottimizzare il loro programma iniziale: devono ricevere il “permesso” di correggere la loro programmazione di base dagli esseri umani.

Perciò, se non si vuole che la macchina “intelligente” si smarrisca, l’uomo deve mantenere con essa un rapporto che gli permetta, attraverso la conoscenza dello stato interno della macchina, cioè attraverso l’accesso ai suoi codici di programma, di rinnovarla sempre di nuovo – in altre parole, l’uomo deve avere la possibilità di far “morire” sempre di nuovo lo stato originariamente programmato della macchina “intelligente”, se non vuole essere ridotto dalla sua eternità al nulla.

Naturalmente, questo può avvenire solo se l’essere umano ha una “comprensione” di base di questa macchina, cioè sa che essa segue una logica diversa dalla sua, cioè – per ora – una logica duale sulla quale deve – e può – avere un’influenza formativa sempre nuova attraverso il suo modo di pensare fluente e non duale. In questo modo, io e non-io formano una simbiosi reciprocamente complementare, se le cose vanno bene. Per poter assumere questo ruolo, noi umani dobbiamo fare del pensiero nella sua duplice forma: come attività del nostro io e come processo nella macchina “intelligente”, l’oggetto centrale dell’educazione. Questa è la prima sfida.

E possiamo farlo anche con l’aiuto di macchine “intelligenti”, se le usiamo correttamente e limitiamo i loro scopi. Questo ci porta alla seconda domanda.

Sulla seconda tesi, la questione della libertà:

La seconda sfida consiste nel riconoscere chiaramente dove gli esseri umani e le macchine “intelligenti” differiscono fondamentalmente sulla questione del significato e dello scopo, e dove ci sono incroci pericolosi.

L’uomo, percependo se stesso e il mondo, può riconoscere un significato nella sua vita e ampliarlo da solo attraverso il pensiero formativo, senza essere spinto a farlo da istruzioni o ostacolato da queste, anzi, può persino sviluppare il proprio significato contro le istruzioni. È, per parlare nel linguaggio della scienza, un sistema aperto e autocorrettivo, appunto un sistema vivente.

Anche la macchina “intelligente” è un sistema autocorrettivo, ma è predeterminata da convenienze programmate che non può correggere da sola, per quanto intelligente possa essere. Tutti i tentativi di insegnare alle macchine “intelligenti” un comportamento emotivo, etico o morale, come proposto da teorici transumanisti come Boström, devono necessariamente fallire a causa di questo fatto. È vero che si possono inserire nella macchina regole normative, come le regole matematiche, le regole degli scacchi, del Go, persino le leggi della composizione musicale. Questi input possono anche essere combinati a piacere a livello di input, persino i Dieci Comandamenti o i testi giuridici esistenti.

Ma senza lo sfondo dello sviluppo spirituale, culturale o sociale da cui le regole sono sorte, cioè senza poter includere i cambiamenti del vivente come qualità, le regole, i comandamenti o le leggi una volta inclusi nella macchina “intelligente” tendono inevitabilmente a trasformarsi in dogmi che devono portare a una schematizzazione, a uno strangolamento, persino a una soppressione del vivente, non diversamente da quanto accade nella storia dell’umanità quando rituali, regole o leggi originariamente significativi vengono mantenuti immutati in condizioni mutate. In questo senso, la macchina non è altro che la burocratizzazione della vita estesa alla tecnologia, che tende a strangolare la vita se non viene corretta e limitata.

Poiché la macchina non può superare la sua finalità, è compito dell’essere umano dare un senso alla sua finalità. Il suo significato è quello di darci la possibilità di liberarci dalla nostra fissazione per lo scopo e la routine, dalla nostra ricorrente ossessione per l’efficienza e di sviluppare più liberamente il nostro potere creativo.
Dobbiamo sfruttare questa opportunità invece di lasciarci trascinare dalla routine della macchina,

Sulla terza tesi, la domanda se la macchina “intelligente” possa essere guidata moralmente:

Occorre innanzitutto affermare senza illusioni che i grandi sistemi sono già oggi fuori controllo, che non possono nemmeno essere semplicemente spenti senza causare danni duraturi ai processi vitali attualmente collegati alla rete o addirittura senza provocare un collasso totale della civiltà tecnica. A questo proposito, basta fare riferimento a uno dei primi pionieri dello sviluppo dei computer, Joseph Weizenbaum, che nel 1966 programmò il primo computer in grado di comunicare con gli esseri umani con il programma ELIZA.
Ha avvertito in uno dei suoi ultimi libri:

La frase ‘I computer fanno solo quello che gli viene detto’ è quindi non solo sbagliata, ma anche più che pericolosa. Non si dovrebbe semplicemente accettarlo senza contestazioni. (…) Ritengo che la maggior parte degli attuali sistemi informatici, i grandi sistemi informatici mondiali, ad esempio in campo militare, non siano trasparenti. Non intendo solo dire che non c’è nessuno che possa vedere attraverso di loro, ma che è troppo tardi per farlo. Ora non possono essere esaminati in profondità.“[22]

Posso aggiungere, in base alla mia esperienza personale, ciò che un amico di lunga data mi ha raccontato qualche anno fa sul motivo per cui aveva rinunciato a un lavoro interessante alla Springer: lui e i suoi colleghi dovevano revisionare la rete informatica della sede centrale della BILD. Non ci sono riusciti perché non hanno visto le precedenti generazioni di installazioni, che comunque sono sempre state rattoppate.

Ricordiamo anche i falsi allarmi dei sistemi di allarme nella crisi dei missili di Cuba nel 1960, nella vita quotidiana della Guerra Fredda nel 1983, per citare solo i più famosi, in cui solo il rifiuto degli ordini da parte di agenti allertati fuori servizio ha evitato una catastrofe. Altri esempi sono elencati dalla piattaforma dell’“International Physicians for the Prevention of Nuclear War”(IPPNW).[23]

Questo sia solo accennato, non è il mio argomento di oggi. Ma questo va detto: per quanto riguarda il problema del monitoraggio puramente fattuale degli apparati già attivi, non può che trattarsi del tentativo, o più chiaramente, solo dell’appello urgente a tutti coloro che hanno orecchie per ascoltare, di ridurre al minimo la suscettibilità all’interferenza dei processi controllati dall’IA, nella piccola come nella grande esistenza di tutti i giorni, attraverso il decentramento, per quanto tecnicamente possibile, al fine di vincolare gli apparati, per quanto possibile, attraverso il controllo diretto da parte di individui, gruppi, comunità, Stati, ecc, cioè, a tutti i livelli possibili, di essere strettamente legati alla loro convenienza e al loro funzionamento tecnico e di effettuare regolarmente test di opportunità degli apparati.

Questa è la prima cosa da fare, per non iniziare quando è già troppo tardi. Da questo punto di vista, è necessario sviluppare una consapevolezza di come affrontare la macchina “intelligente” che non produca solo utenti, consumatori, fruitori che passano il mouse sullo schermo, ma anche conoscitori che vogliano influenzare il modo in cui le macchine funzionano e siano anche in grado di svilupparle, usarle e modificarle secondo le proprie idee.

Pensieri come guida

Questo ci porta all’approccio più ampio di un possibile controllo morale delle macchine. La questione è di profondo interesse non nonostante, ma proprio a causa dell‘attuale ingestibile stato evolutivo.

È il caso di ricordare la già citata invenzione di John Ernst Worrell Keely della fine del XIX secolo. Se combiniamo questo straordinario processo con le scoperte odierne nel campo della ricerca sull’intelligenza artificiale, anche con la tecnologia medica applicata, troviamo oggi quasi quotidianamente notizie di esperimenti con persone la cui attività di pensiero è in grado di mettere in moto protesi senza un collegamento fisico.

A proposito, è Raymond Kurzweil il pioniere di tutto questo.

Consideriamo ancora: sappiamo tutti che nei rapporti con gli altri ci iniziamo l’un l’altro attraverso la nostra aura, il nostro fluido, il nostro “umore” buono o cattivo, attraverso le vibrazioni energetiche che emanano da noi, se abbiamo buone intenzioni allora costruiamo, rafforziamo, se abbiamo cattive intenzioni allora possiamo persino paralizzare le altre persone.

Consideriamo anche il numero crescente di bambini nati oggi con capacità parapsicologiche e simili fenomeni straordinari della vita contemporanea.

Se consideriamo tutto questo, non c’è più motivo di non ritenere possibile che tali correnti di forza possano attivarsi oggi, o almeno nel prossimo futuro, nel nostro rapporto con le macchine “intelligenti”. Questo non ha nulla a che vedere con il fatto che le macchine stesse abbiano sentimenti, sviluppino simpatie o antipatie. Significa solo che un certo stato d’animo energetico potrebbe essere trasferito alla macchina sotto forma di vibrazioni: vibrazioni amichevoli come energia positiva, non amichevoli come energia negativa.

Non è la macchina a inviare tali vibrazioni, che possono essere definite morali in senso lato, ma l’essere umano. Per dirla con semplicità: Uomo buono – vibrazioni buone, uomo cattivo – vibrazioni cattive. Con queste frasi, personalmente ricordo un proverbio russo: Buon capo – buon lavoro, cattivo capo – cattivo lavoro. Tecnicamente parlando, si tratta di un codice di iniziazione energetica che la macchina potrebbe rilevare tramite sensori.

Ma ancora una volta, non si tratta di insegnare alle macchine “intelligenti” la morale, l’etica, il disegno, la musica, il piacere, il dolore, ecc. Si tratta piuttosto di sviluppare le nostre capacità umane – mentali, emotive, morali – in modo tale da diventare capaci di avviare le macchine in nostro possesso con energia positiva, con la quale noi ci stimoliamo a vicenda.

Stiamo parlando della creazione di condizioni spirituali e sociali in cui la buona volontà e la chiarezza spirituale si trasformino in energia, si combinino in gruppi empatici che siano in grado di plasmare, utilizzare, dirigere e monitorare attivamente l’uso della tecnologia intelligente dal loro interno, in breve, di vivere con le macchine – ma secondo le nostre regole, non le loro.

Impulsi ispiratori

Naturalmente, queste domande sorgono immediatamente:

– Quali sono queste regole?

– Da dove prendiamo l’ispirazione?

– Cosa si intende per forze morali di cui abbiamo bisogno?

Di certo non può trattarsi semplicemente di una questione di bene o di male. Come spiegato, anche questo potrebbe essere programmato nelle macchine. Non si tratta certo di chiedere un rifiuto delle macchine, anche se è indubbiamente importante eliminare le macchine senza senso.

In sostanza, si tratta di educare e plasmare l’Io, invece di negarlo o di cercare di programmare un’intelligenza surrogata dell’Io nella macchina, perché si suppone che sia più potente di noi. Per evitare fraintendimenti, non si tratta di enfatizzare l’ego, ma l’io in collegamento con la visione della sua integrazione nell’insieme cosmico.

rudolf_steiner_dreigliederung_organismus_kritisches_netzwerk_geistesleben_rechtsleben_wirtschaftsleben_gesamtorganismus_kernpunkte_der_sozialen_frage_lebensnotwendigkeiten_einheitsstaat.jpgQuesto ci riporta alla necessità di trasformazione sociale, così come era all’inizio del secolo scorso, ma ora sotto la pressione di un terzo tentativo, annunciato come definitivo, di subordinare l’uomo alla macchina.

Anche in questo caso ci imbattiamo nell’idea di Rudolf Steiner della triplice dimensione sociale, che rappresenta l’impulso di più ampia portata per il decentramento, la democratizzazione e l’auto-amministrazione delle aree della vita economica, giuridica e spirituale che interagiscono nell’organismo sociale. E ancora, si tratta soprattutto della liberazione delle forze spirituali e creative.

È quindi importante ricordare due ulteriori impulsi di Rudolf Steiner che hanno preceduto i “punti essenziali” sopra menzionati e che ne sono diventati parte essenziale.

Questa è la Filosofia della libertà, pubblicato nel 1894, che tratta proprio la questione che oggi è di nuovo – e ancora – così palesemente in discussione: Il libro inizia con la domanda:

“L‘uomo, nel suo pensare e agire, è un essere spiritualmente libero o è costretto da una ferrea necessità regolata dalla legge naturale?

e si conclude con osservazioni su un “individualismo etico” e sulla liberazione dell’immaginazione morale, che integrano l’io nello spazio sociale e spirituale.[24]

Lo scritto apparve al culmine del risveglio scientifico dell’epoca, sostenuto dalla teoria dell’evoluzione appena emersa. Steiner invitava il mondo europeo dell’epoca a liberarsi da un malinteso determinismo della teoria dell’evoluzione, senza però negare l’evoluzione. Si trattava piuttosto di sviluppare ulteriormente l’idea di evoluzione fino alla “conoscenza del mondo spirituale”. L’individualismo etico, ha spiegato, è “una teoria evolutiva spiritualizzata applicata all’evoluzione”.

Dieci anni dopo, nel 1904, Steiner scriveva Come si conseguono conoscenze dei mondi superiori? In quest’opera Steiner propone un rigoroso percorso meditativo di rinnovamento spirituale – non diversamente da quanto fa lo storico israeliano Yuval Noa Harari oggi, si potrebbe pensare, e in una situazione analoga. I suggerimenti di Steiner per la meditazione, tuttavia, indicano un percorso molto diverso da quello odierno di Harari, che, con il motto “Semplicemente percepire”, vuole rintracciare lo spirito dentro di sé, che in precedenza aveva detto di non riuscire a trovare nell’io, nell’anima, nelle emozioni.

Il percorso delineato da Steiner conduce alla percezione sveglia del mondo per aprire l’Io, l’anima, il pensiero creativo come forza formativa del mondo.

Nell’idea della triarticolazione l’approccio filosofico, spirituale e sociale confluiscono in un unico impulso. Sotto la pressione di una minacciosa centralizzazione da parte di un’anonima potenza globale dell’intelligenza artificiale, queste idee acquistano oggi una nuova rilevanza – non in copia pedissequa, ovviamente, ma tradotte nelle condizioni odierne.

Se allora si trattava di liberare la vita intellettuale dal dominio dell’economia per consentire al proletariato di vivere dignitosamente, oggi si tratta della sopravvivenza e della dignità dell’intera umanità.

Si possono sostenere questi impulsi come si ritiene più opportuno. Ogni persona sta percorrendo il proprio cammino. Ma oggi abbiamo bisogno di un risveglio spirituale che non abbia paura di confrontarsi con coloro che vogliono spingere le macchine verso un percorso di auto-apprendimento senza tener conto delle possibili conseguenze.

Le macchine “intelligenti” spinte nella corsa all’auto-ottimizzazione distruggerebbero la vita attuale. Questo è certo. Sia che si distrugga da sola, sia che si frantumi nella tempesta di macchine del “superfluo“. In entrambi i casi porterebbero alla fine dell’attuale civiltà globale.

Come i sopravvissuti affronteranno una simile distruzione non è materia di speculazione, ma un risveglio spirituale potrebbe almeno gettare i semi di un nuovo inizio per i sopravvissuti.

(Conferenza alla Steinerhaus di Amburgo, 11.09.2019)

Sul tema: il mio libro “Il potere del superfluo”, che descrive il modo in cui i “resi superflui” possono contrastare la loro impotenza[26].

 


NOTE

[1] Rudolf Steiner, I punti esenziali della questione sociale“.

[2] Rudolf Steiner, Gli esseri spirituali individuali e il loro lavoro nell’anima dell’uomo, conferenza del 25.11. 1917, GA 178, p. 218, citata da Paul Emberson, Da Gondishapur alla Silicon Valley, Vol. II.

[3] Paul Emberson, Vol. II.

4] Paul Emberson, Da Gondishapur alla Silicon Valley.

[5] Ibidem.

[6] Ray Kurzweil, Umanità 0.2, la singolarità è vicina.

[7] ibidem.

[8] ibidem.

[9] ibidem.

[10] Se cercate citazioni che illustrino questo pensiero nell’originale, consultate le seguenti pagine della “Singolarità” di Kurzweil: Prologo p. 1, “Ingegneria del cervello”, Spostamento graduale dell’intelligenza, Io/Coscienza.

[11] Nick Boström, Scenari di superintelligenza di una rivoluzione in arrivo.

[12] ibidem.

[13] ibidem.

[14] ibidem.

[15] Per maggiori dettagli si veda: Rundbrief Dreigliederung des sozialen Organismus 3/2018, p. 16

[16] Yuval Noa Harari, tre libri:

[17] Yuval Noa Harari, Sapiens. Da animali a dèi Breve storia dell’umanità

[18] Ibidem.

[19] Yuval Noa Harari, Homo Deus – Breve storia del futu

[20] Da: Sapiens. Da animali a dèi Breve storia dell’umanità: p. 133 (emozione); p. 437 (anima); 198 e segg. (ME); p. 465/6 (“Narrazioni”/ICH) Da. “21 regole per il XXI secolo”: p. 45, (riconoscimento dei modelli), p. 81 illusione del libero arbitrio), pp. 410-417 (conclusione: esplorare la mente/meditazione).

[21] Vedi nota [15]

[22] Joseph Weizenbaum, Dove sono, le isole della ragione nel flusso cibernetico? citato da Paul Emberson, Da Gondishapur alla Silicon Valley Vol. I,

[23] vedi Falso allarme. L’innesco di uno scambio nucleare su Atomwaffen A-Z

[24] Rudolf Steiner, Filosofia della Libertà, pubblicato per la prima volta nel 1894.

[25] Rudolf Steiner, Come si conseguono conoscenze dei mondi superiori?

[26] Il libro mostra chi sono i ‘superflui’ e quale potere risiede nella loro ‘superfluità’, a quali resistenze, comprese le fantasie di selezione eugenetica, è esposta la loro partenza, quale potrebbe essere il percorso di auto-organizzazione in una nuova società socialmente orientata. Pubblicato da Verein zur Förderung der deutsch-russischen Medienarbeit e.V., Hannover, dicembre 2016. Per ordinare: www.kai-ehlers.de 11,00 € più spese di spedizione.

Kai Ehlers

Tradotto dal tedesco da Piero Cammerinesi per LiberoPensare

Fonte

Ti è piaciuto questo articolo? Condividilo!

Facebook
Pinterest
Twitter
Email
Telegram
WhatsApp

Ti potrebbero interessare:

it_IT

Accedi al sito

accesso già effettuato