Impressum/Datenschutz (Rechtliches)

1. Februar 2019

 

 

North Star Trustworthy AI – Eine bedenkliche Marketing-Strategie made in Europe

 

Stellungnahme im Rahmen der „Stakeholders‘ Consultation on Draft AI Ethics Guidelines“

 

 

Mein Name ist Claudia Otto, ich bin deutsche und in Frankfurt am Main niedergelassene Rechtsanwältin. Mit der Vereinbarkeit von Recht und „neuen“ Technologien sowie ethischen Grundsätzen befasse ich mich nunmehr viele Jahre. Davon über zwei Jahre in eigener spezialisierter Kanzlei, seit 2017 zudem als Herausgeberin, Chefredakteurin und Autorin der „Recht innovativ (Ri)“. Darüber hinaus bin ich Mitglied der AI Alliance. Ich darf und möchte mich zu dem „Draft Ethical Guidelines for Trustworthy AI“1 (im Folgenden „Entwurf“) der „High-Level Expert Group on Artificial Intelligence“ (im Folgenden „HLE-Group“) vom 18. Dezember 2018 äußern. Doch die Rahmenbedingungen erlauben mir nicht, mich bis zum heutigen Fristablaufdatum wie gewünscht umfassend mit dem Entwurf auseinanderzusetzen. Ich möchte mich daher auf diese und die von mir identifizierten Kernmängel des Entwurfs beschränken. Ziel ist, die Europäische Kommission und HLE-Group dazu anzuhalten, Rahmenbedingungen und Kernmängel zu verbessern. Das Ziel wird nach meinem Dafürhalten nicht erreicht, wenn die nachfolgenden Ausführungen in das Kommentarfeld „General Comments“ auf der Feedback-Seite der Futurium-Plattform einkopiert werden:

 

 

Ich begrüße den Vorstoß der Europäischen Kommission, ethischen Grundfragen im Zusammenhang mit Technologien, die man gemeinhin mangels klarer Definition umschreibt als „Künstliche Intelligenz (KI)“, einen hohen Stellenwert einzuräumen. Auch begrüße ich die Bildung eines Gremiums, in dem verschiedene Altersgruppen, Berufe und Werdegänge, fachlich fundierte Ansichten, professionelle und persönliche Erfahrungen sowie Wissensstände zusammengeführt werden, um für die europäischen Bürger2 und die europäische Gesellschaft auf valider sowie fester Grundlage die Zukunft zu gestalten.

 

Dennoch gibt es dringenden Verbesserungsbedarf, den ich nachstehend ausführen möchte:

 

I. Der straffe Zeitplan der Europäischen Kommission kostet Qualität und Sicherheit

 

Wie der Entwurf vor allem auf den Seiten 11, 12, 22, 24 und 28 zeigt, ist die Zeit für eine „Expertengruppe“ von 52 Mitgliedern viel zu knapp bemessen. Ethische Leitlinien für Europa sollten nicht auf Zeitdruck, sondern wissenschaftlich-gründlicher Recherche und umfassender Abwägung aufbauen.

 

Eine fruchtbare Konsultation der „Stakeholder“ innerhalb eines Zeitraums von knapp einem Monat kann ebenso wenig erfolgen. Im Jahresabschluss- und Feiertagezeitraum findet sich kaum hinreichend Zeit für eine fundierte Auseinandersetzung mit komplexen Fragestellungen zu „Künstlicher Intelligenz“ zugunsten der Zukunft der Menschen Europas. Erst recht nicht für die Deckung des offenkundig noch bestehenden Klärungsbedarfs. Die Konsultation kann keine belastbaren Ergebnisse liefern, wenn der Entwurf nur wenigen Stakeholdern, Betroffenen sollte man sagen, bekannt und zugänglich gemacht wird. Es gibt nur sehr wenige reflektierende Beiträge in der Presse. Diese verstecken sich zudem hinter einer Pay Wall. Die Suchmaschinenergebnisse sind spärlich und überwiegend nichtssagend. Und das angesichts eines Themas, das die Zukunft Europas und seiner Bürger bestimmen soll.

 

Die Europäische Kommission sollte daher ihren Zeitplan überdenken. Die HLE-Group sollte die Kommunikation verbessern.

 

II. Mangel (an Durchsetzung) ethischer Anforderungen an die HLE-Group selbst

 

Auf Seite 2 des Entwurfs findet sich ein Link zu einer Liste der 52 Mitglieder der HLE-Group samt verlinkten Kurzlebensläufen. Eine alphabetische Namensliste findet sich auf der letzten Dokumentseite. Es gibt zudem ein Register of Commission Expert Groups mit Erklärungen über die eigenen Interessen (Declaration of Interest, DOI).3 Daneben gibt es das Transparency Register, aus dem Lobbyarbeit ersichtlich ist.4 So weit, so gut.

 

Das Gewicht des Anteils der „High-Level“-Experten, welche offen die Anbieter- und damit primäre Adressatenseite von ethischen (lies: einschränkenden) Grundsätzen in Sachen „KI“ repräsentieren, ist mit 13 (Companies/Groups), also 25 Prozent, bereits sehr hoch. Ein Blick in das Transparency Register, etwa für Google, zeigt, man verfolge das Interesse „(…) to organize the world's information and make it universally accessible and useful“. Der Dienst am Europäischen Bürger erschließt sich hier nicht.

 

Die blumig geschriebenen Kurzlebensläufe von „Ehemaligen“ und selbsternannten „Experten“ stimmen nicht weniger skeptisch. So sind diese, gemäß Stichproben, aktueller als die DOI im Register. Dies darf jedoch ausweislich der Abschlusserklärung in der DOI nicht sein:

 

  

 

Die DOI und Kurzlebensläufe sind gar grob widersprüchlich. Der Chairman etwa gibt in seiner DOI an, in den letzten fünf Jahren kein Mitglied eines Leitungs- oder Aufsichtsgremiums (2) bzw. kein sonstiger Vertreter von Interessen oder Ansichten (6) gewesen zu sein, welche einen potentiellen Konflikt mit der Aufgabe der HLE-Group begründen könnten. Laut eigenen Angaben5 ist er dies sogar in vier Fällen:

 

 

 

Die SAP etwa wird im Transparency Register offen als Lobbyistin geführt und ist ebenso offen durch Herrn Noga in der HLE-Group vertreten. Warum diese Lücke durch den Chairman und die Europäische Kommission nicht geschlossen wird, ist nicht nachvollziehbar.

 

Der Disclaimer der Europäischen Kommission auf Seite 2 des Entwurfs,

 

„The contents of this working document are the sole responsibility of the High-Level Expert Group on Artificial Intelligence (AI HLEG). Although staff of the Commission services facilitated the preparation of the Guidelines, the views expressed in this document reflect the opinion of the AI HLEG, and may not in any circumstances be regarded as stating an official position of the European Commission.“

 

verwundert, wenn ein Mitglied der HLE-Group auf den zweiten oder dritten Blick als bei der Europäischen Kommission tätig erkennbar wird:6

 

 

Die über das Register of Commission Expert Groups abrufbare DOI bestätigt eine „Experten“-, nicht jedoch Sekretariats-Tätigkeit von Frau Bouarfa für die Europäische Kommission bis 2020. Sie bestätigt auch erhebliche wirtschaftliche Interessen aufgrund eines Investments. Das ist transparent, aber aufseiten der Kommission nicht konsequent. Denn gemäß Annex I – Classification Form zum „CALL FOR APPLICATIONS FOR THE SELECTION OF MEMBERS OF THE HIGH-LEVEL EXPERT GROUP ON ARTIFICIAL INTELLIGENCE“7 wird Unabhängigkeit und Handeln im öffentlichen Interesse gefordert:

 

 

Unabhängigkeit und das Nichtverfolgen anderer Interessen wird nur ganz offensichtlich nicht näher überprüft und durchgesetzt.

 

Kritische Verbindungen und Geldflüsse, ob bereits entstanden oder geplant, so wie etwa von Facebook zu der auch in der HLE-Group vertretenen Technischen Universität München,8 sollten ebenfalls (auch nachträglich) offengelegt werden. Selbst geringfügige Beeinflussungsmöglichkeiten genügen, um Zweifel an der Unabhängigkeit der HLE-Group zu begründen. Daher sollte jedes einzelne HLE-Group-Mitglied weniger an der inflationär genutzten und daher nichtssagenden „Experten“-Bezeichnung, als an seinen Verbindungen zu Unternehmen gemessen werden, deren Geschäftsmodelle durch die „Ethical Guidelines“ und hierauf zukünftig aufbauende Dokumentation der EU betroffen sind oder sein können.

 

Die genannten Umstände lassen zweifeln an einer unabhängigen, am Wohle der Menschen orientierten Federführung durch die HLE-Group. Wer über Ethik und die Zukunft von Menschenwohl entscheidet, sollte sich selbst ethischen Grundsätzen unterwerfen. Die Europäische Kommission muss diese Anforderungen auch wirksam prüfen und durchsetzen. Transparenzregister zu führen allein genügt nicht, wenn die wichtigen Informationen nicht aktuell, widersprüchlich und nur durch erheblichen Prüfaufwand zusammentragbar sind.

 

III. Mangel an sachlicher Distanz; werbliche Sprache und Etablierung eines irreführenden KI-Begriffs

 

Einem Papier über ethische Grundsätze, welches die Zukunft der Menschen unter der Prämisse „Trustworthy AI will be our north star“ bewertet, fehlt es an sachlicher Distanz. Emotionalisierung durch romantische Ansätze, Storytelling im Roman- und Kinderbuchstil9 und die stetig wiederholte Verknüpfung von „AI“ und „trustworthy“, beginnend im Summary und bei 93-facher (!) Wiederholung im ganzen Dokument, sind außerordentlich bedenklich. Dies v.a. unter Verweis auf Seiten 11 bis 13 des Entwurfs, auf denen die HLE-Group nur 14 Zeilen für autonome Waffensysteme opfert und zeigt, dass man potentielle negative Langzeitfolgen des Einsatzes von „Künstlicher Intelligenz“ weder kennt noch eruiert hat. An dieser Stelle gäbe es einschlägige wissenschaftliche Literatur, die ausgewertet hätte werden können. Buzzwords und Marketing-Begriffe wie „Trustworthy AI“ können keine notwendige Prüfung und Langzeitfolgenbetrachtung ersetzen. Noch dazu, wenn die Möglichkeit der hier ausdrücklich benötigten Stakeholder-Rückmeldungen auf ein Zeitfenster von nur einem Monat begrenzt wird.

 

Wer „Trustworthy AI“ durch zahlreiche Wiederholungen (nochmals: 93, auf 33 Seiten) als Begriff begründet, schafft eine Illusion von Wahrheit. Eine Legende. Durch zahlreiche Wiederholungen entsteht dann eine Wahrheit, die niemand mehr anzweifelt.10 Auch dann, wenn hier zwischen den Zeilen und fettgedruckten „Trustworthy AI“-Erwähnungen steht, dass dafür ein paar freiwillige Anforderungen erfüllt sein müssen. Das ursprüngliche Dokument liest der gemeine Leser nicht mehr, wenn sich „Trustworthy AI“ erst einmal in den Köpfen festgesetzt hat. So wie er keine umfassenden und zersplittert verfügbaren Nutzungsbedingungen und Datenschutzerklärungen von Anbietern wie Google11 oder Facebook12 liest und verstehen kann, dahingehend, wie diese „Vertrauenswürdigkeit“ (trustworthiness) auslegen.

 

Ethische Leitlinien haben sich an wissenschaftlichen und ethischen Grundsätzen zu orientieren, nicht an persönlichen Wünschen, Empfindungen und mehr oder weniger transparenten Motiven der HLE-Group. Sie dürfen kein Marketing-Konzept zur Verführung und gar Irreführung der Menschen Europas darstellen.

 

IV. „Trustworthy AI“ impliziert Maschinenverantwortlichkeit

 

Die HLE-Group spricht im Fließtext von menschenzentrierter KI und menschlicher Verantwortlichkeit. Gleichzeitig sollen Menschen Maschinen Vertrauen entgegenbringen. Damit auch niemand am Vertrauensgrund zweifelt, wird „Trustworthy AI“ 93 Mal wiederholt.

 

Welche Vertrauensbeziehung zwischen Mensch und Maschine stellen sich die Experten hier vor? Vertrauen und Wissen schließen sich grundsätzlich aus. Menschen, insbesondere Verbraucher, die mit technischen Produkten in Berührung kommen, müssen nicht vertrauen, sondern gemäß europäischem Recht umfassend informiert werden. Etwa darüber,

 

- wer der Hersteller ist,

- was das Produkt kann,

- ob es die erforderliche Sicherheit aufweist,

- wie sie es nutzen sollen,

- welche Gefahren sich aus der Nutzung, ggf. Falschnutzung ergeben,

- für wie lange und mit welchen Begleitpflichten die Nutzung erfolgen kann oder sollte und

- welche Rechte sich aus dem der Nutzung vorangehenden notwendigen Vertrag ergeben.

 

Im Zusammenhang mit „AI“ Vertrauen zu verlangen, ist eine Absage an die notwendige Information. Und an geltendes Recht.

 

Doch der Entwurf ist nicht nur deshalb paradox. Eine Bewertung der Verlagerung von Haftung auf eine „elektronische Person“ durch die HLE-Group als ethisch oder unethisch unterbleibt, während der Begriff „Trustworthy AI“ maschinelle Verantwortung, als Konsequenz der „Vertrauensbeziehung“, notwendigerweise beinhaltet. Auch hier entsteht der Eindruck der Verfolgung sachfremder Ziele, nicht jedoch der Humanzentrierung.

 

Die Schaffung einer dritten Person13, als Haftungssubjekt nach der Idee des Europäischen Parlaments,14 erstickt die notwendige Nachvollziehbarkeit15 von schadensauslösenden Entscheidungen „künstlicher Intelligenz“ im Keim.16 Es würde der Anreiz fehlen, potentiell schadhafte Entscheidungen „künstlicher Intelligenz“ auf einen Verantwortlichen zurückführbar zu machen und damit im Eigeninteresse zu verhindern. Jeder Anreiz zur Verbesserung und zum Schutz weiterer Betroffener würde genommen. Die Folge wäre eine menschenbedrohliche Entwicklung von „Künstlicher Intelligenz“, der die HLE-Group eigentlich entgegenwirken soll.

 

Tiere sind ein einziges Mal im Entwurf erwähnt. Die Umwelt als Schutzgut kommt ebenfalls kaum vor. Beide entwickeln kein Vertrauen zu Maschinen. Dennoch sind beide anhand ethischer Grundsätze zu schützen. Beide werden durch Menschen geschädigt, nicht durch die von Menschen eingesetzten Maschinen.

 

Die HLE-Group muss sich daher klar positionieren, etwa dahingehend, dass das Konstrukt der „elektronischen Person“ den Zielen Europas einen Bärendienst erweisen würde.

 

V. Der zugrunde gelegte Begriff „Künstlicher Intelligenz“ ist zu eng und futuristisch

 

Die HLE-Group legt den ethischen Grundsätzen ein Verständnis von „Künstlicher Intelligenz“ zugrunde, das erhebliche Probleme aufwirft:

 

„Artificial intelligence (AI) refers to systems designed by humans that, given a complex goal, act in the physical or digital world by perceiving their environment, interpreting the collected structured or unstructured data, reasoning on the knowledge derived from this data and deciding the best action(s) to take (according to pre-defined parameters) to achieve the given goal. AI systems can also be designed to learn to adapt their behaviour by analysing how the environment is affected by their previous actions.

 

As a scientific discipline, AI includes several approaches and techniques, such as machine learning (of which deep learning and reinforcement learning are specific examples), machine reasoning (which includes planning, scheduling, knowledge representation and reasoning, search, and optimization), and robotics (which includes control, perception, sensors and actuators, as well as the integration of all other techniques into cyber-physical systems).“17

 

Beide Umschreibungen sind (zusammen gelesen) viel zu eng gefasst und decken damit wesentliche Bereiche von den Menschen als solche wahrgenommener „Künstlicher Intelligenz“ nicht ab. Sog. schwache KI18 wird vom ersten Absatz weitgehend nicht erfasst, wirft aber in der Vermarktung als „Künstliche Intelligenz“ ethische Fragen auf, die von der HLE-Group unadressiert und ungelöst bleiben. Für ethische Grundsätze sollte ein möglichst weiter „KI“-Begriff gelten, um Wertungswidersprüche, Schäden (z.B. infolge des Hervorrufens einer Fehlvorstellung, i.e. Täuschung) und negative Auswirkungen auf die Wirtschaft (i.e. unlauterer Wettbewerb durch irreführende Angaben) zu vermeiden.

 

„Reasoning“, also eine Ausprägung von Denkvermögen, der Begriffsbestimmung von „Künstlicher Intelligenz“ zugrunde zu legen, zeigt, dass die HLE-Group ein phantastisches Verständnis von „Künstlicher Intelligenz“ hat. Es zeigt, dass sie aktuelle Entwicklungen außer Acht lässt und wissenschaftliche Erkenntnisse missachtet. Sie behandelt sog. starke KI19, wie sog. Machine Reasoning ohne jede und damit ohne Langzeiterfahrung, als zu regelnden Standard.

 

Die HLE-Group legt damit menschliche Intelligenz dem Begriff der „Künstlichen Intelligenz“ zugrunde. Um zu verdeutlichen, dass die HLE-Group wirklichkeitsferne Anforderungen an „Künstliche Intelligenz“ stellt, wird der erste Absatz des obigen Glossary-Abschnitts durch Ersetzungen, erkennbar an eckigen Klammern, leicht verändert:

 

„[Analyst (A)] refers to [a human] designed by humans that, given a complex goal, act[s] in the physical or digital world by perceiving their environment, interpreting the collected structured or unstructured data, reasoning on the knowledge derived from this data and deciding the best action(s) to take (according to pre-defined parameters) to achieve the given goal.

 

[Children] can also be [taught] to learn to adapt their behaviour by analysing how the environment is affected by their previous actions.“

 

Das bedeutet, „Künstliche Intelligenz“ muss erst auf dem Niveau menschlicher Intelligenz angekommen sein, damit sie ethischen Grundsätzen und Richtlinien unterliegen kann. Das wird jedoch nicht demnächst der Fall sein. Und widerspricht damit Intention wie Ethik.

 

VI. Warum sollen die ethischen Anforderungen an „Künstliche Intelligenz“ hinter denen der Arzneimittelindustrie zurückbleiben?

 

„It strives to facilitate and enable “Trustworthy AI made in Europe” which will enhance the well-being of European citizens.“20

 

Wir sprechen vom Wohlergehen, von Gesundheit und Leben der Menschen (sowie Tiere) in Europa. Von technischen Lösungen und Anwendungen, die auch im Gesundheitsbereich eingesetzt werden können und sollen. Selbst wenn sie noch keine „Künstliche Intelligenz“ im Sinne des Entwurfs darstellen. In der Arzneimittelindustrie wird, u.a. neben umfassender Transparenz durch Aufklärung, akribisch darauf geachtet, dass Zuwendungen zur Förderung (auch-) menschenwohlorientierter Forschung und Entwicklung sowie Umsatzinteressen nicht verquickt werden (sog. Trennungsprinzip).

 

Diese ethischen Grundsätze müssen auch für die Entwicklung „Künstlicher Intelligenz“, unabhängig von der Branche, gelten. Umsatzinteressen dürfen erst recht nicht die ethischen Grundsätze diktieren.

 

VII. Fazit: Ein guter Entwurf braucht Zeit.

 

Zusammenzufassen ist daher, dass die im Entwurf vorgegebenen ethischen Grundsätze und Guidelines wegen ihrer problematischen Rahmenbedingungen fehlzugehen drohen. Dem Entwurf liegt die realitätsferne Erwartung von menschlicher Intelligenz an Maschinen zugrunde. Er begründet und verfestigt in der Folge eine unrealistische Vorstellung einer „Trustworthy AI“, die es (so noch) gar nicht gibt. Insofern ist der extrem straffe Zeitplan sachlich nicht nachvollziehbar.

 

Die Mitglieder der HLE-Group sollten sich selbst ethischen Grundsätzen verpflichten und hiernach handeln. Die Europäische Kommission muss deren Einhaltung überwachen und durchsetzen. Der Gesamteindruck ist aktuell ein unangenehmer: Wissenschaftliche Erkenntnisse stehen im Hintergrund. Gewichtig im Vordergrund steht stattdessen die Etablierung einer Marke „Trustworthy AI made in Europe“ zugunsten persönlicher oder vertretener finanzieller Interessen. Diese auf künstlich geschaffenem Vertrauen aufbauende Marke kommt vor allem Herstellern und Anbietern von „künstlich intelligenten“ Produkten zugute, die keine für die Kauf- oder Nutzungsentscheidung, Erklärbarkeit und/oder Nachvollziehbarkeit von „künstlich intelligenten“ Entscheidungen erforderlichen Informationen bereitstellen wollen.

 

Ich rege ausdrücklich an, dass dem lobenswerten Vorhaben „ethische Rahmenbedingungen und Anforderungen an Künstliche Intelligenz in Europa“ die Zeit eingeräumt wird, die es entsprechend seiner Bedeutung für die Menschen, Tiere und Umwelt in Europa braucht. Auf übereilten Entscheidungen baut man keinen gesunden Wettbewerb auf, erst recht nicht, wenn der hier begründete Begriff „Trustworthy AI“ für sich allein schon irreführender Natur ist. Den Stakeholdern muss ebenfalls mehr Zeit eingeräumt werden, um qualitativ hochwertiges Feedback abgeben zu können. Ein gutes Ergebnis benötigt Austausch. Und die Zeit hierfür.

 

 

 

1   https://ec.europa.eu/futurium/en/system/files/ged/ai_hleg_draft_ethics_guidelines_18_december.pdf (zuletzt abgerufen am 1. Februar 2019).

2  Personenbezeichnungen in diesem Text sind geschlechtsneutral gemeint. Sie sollen als Äquivalent für „(der) Mensch“ verstanden werden.

3  http://ec.europa.eu/transparency/regexpert/index.cfm?do=groupDetail.groupDetail&groupID=3591 (zuletzt abgerufen am 1. Februar 2019).

4  http://ec.europa.eu/transparencyregister/public/consultation/displaylobbyist.do?id=03181945560-59&locale=en (zuletzt abgerufen am 1. Februar 2019).

5  https://ec.europa.eu/futurium/en/european-ai-alliance/european-ai-alliance-steering-group (zuletzt abgerufen am 1. Februar 2019).

6 https://ec.europa.eu/futurium/en/european-ai-alliance/european-ai-alliance-steering-group (zuletzt abgerufen am 1. Februar 2019).

7  http://ec.europa.eu/transparency/regexpert/index.cfm?do=calls.calls_for_app (zuletzt abgerufen am 1. Februar 2019).

8  Thiel, „Geschlossener Wettbewerb“, FAZ vom 30. Januar 2019, https://www.faz.net/aktuell/feuilleton/hoch-schule/geschlossener-wettbewerb-die-tu-muenchen-erlaeutert-ihren-facebook-deal-16013071.html (zuletzt abgerufen am 1. Februar 2019).

9  Lastella, „Nordsternfunkeln“; Bickel, „Was ist mit Nordstern los?“, „Reitlehrer Lars Hansen – Alles für Nordstern“; Reynolds, „The North Star“; Root, „One North Star – A Counting book“ und viele mehr.

10  Le Bon, „Psychologie der Massen“ von 1895 (!), Auszüge:

„Die reine einfache Behauptung ohne Begründung und jeden Beweis ist ein sicheres Mittel, um der Massenseele eine Idee einzuflößen. Je bestimmter eine Behauptung, je freier sie von Beweisen und Belegen ist, desto mehr Ehrfurcht erweckt sie.“ (Seite 170), „Die Behauptung hat aber nur dann wirklich Einfluss, wenn sie ständig wiederholt wird, und zwar möglichst mit denselben Ausdrücken. Napoleon sagte, es gäbe nur eine ernsthafte Redefigur: die Wiederholung. Das Wiederholte befestigt sich so sehr in den Köpfen, dass es schließlich als eine bewiesene Wahrheit angenommen wird.“, (Seite 171); eBook-Originalausgabe © 05/2013 by eClassica.

11  Vgl. CNIL-Entscheidung vom 21. Januar 2019, https://www.cnil.fr/en/cnils-restricted-committee-imposes-financial-penalty-50-million-euros-against-google-llc (englische Zusammenfassung), zuletzt abgerufen am 1. Februar 2019.

12  Siehe Fn 8.

13  Neben der juristischen und natürlichen Person.

14  Entschließung des Europäischen Parlaments vom 16. Februar 2017 mit Empfehlungen an die Kommission zu zivilrechtlichen Regelungen im Bereich Robotik (2015/2103(INL)),

 http://www.europarl.europa.eu/sides/getDoc.do?pubRef=-//EP//TEXT+TA+P8-TA-2017-0051+0+DOC+XML+V0//DE (zuletzt abgerufen am 1. Februar 2019).

15  Otto, Ri 2018, „Das dritte Ich – Ist die „Schizophrenie“ künstlich intelligenter Systeme behandelbar?“, S. 68 ff.; Otto, Ri 2018, „Die größte Verwundbarkeit ist die Unwissenheit“, S. 136 ff.

16  Otto, Ri 2018, „Die größte Verwundbarkeit ist die Unwissenheit“, S. 136, 139.

17  Entwurf, Seite iv.

18  Zum Begriff: Otto, Ri 2018, „Das dritte Ich – Ist die „Schizophrenie“ künstlich intelligenter Systeme behandelbar?“, S. 68, 72.

19  Zum Begriff: Otto, Ri 2018, „Das dritte Ich – Ist die „Schizophrenie“ künstlich intelligenter Systeme behandelbar?“, S. 68, 72.

20 Entwurf, Seite iii.