Στη Γενική Συνέλευση της 15/12/2018 της Ένωσης Πληροφορικών Ελλάδας (ΕΠΕ) υπερψηφίστηκε ομόφωνα η παρακάτω παρέμβαση-πρόταση, σχετικά με τις βασικές αρχές της Τεχνητής Νοημοσύνης (TN), το πλαίσιο εφαρμογής της και τη διεθνή απαγόρευση των αυτόνομων οπλικών συστημάτων.

Ψήφισμα Γενικής Συνέλευσης
Παρέμβαση της ΕΠΕ για την Τεχνητή Νοημοσύνη και την απαγόρευση αυτόνομων οπλικών συστημάτων

Αθήνα, 18-12-2018

Βασικοί ορισμοί και πλαίσιο εφαρμογής

Τεχνητή Νοημοσύνη (Artificial Intelligence – AI)¹^,²:

Ως έννοια, αναφέρεται γενικά στην ικανότητα ενός αλγορίθμου να παράγει αποτελέσματα που προσομοιάζουν την ακρίβεια, την αξιοπιστία και τη γνωστική αξία “κατανόησης” (cognitive value – “understanding”) της επίλυσης ενός εξειδικευμένου ή γενικότερου προβλήματος, το οποίο συνήθως δεν μπορεί να επιλυθεί με απλές Μαθηματικές ή αναλυτικές μεθόδους και απαιτεί τη συνδρομή ενός ανθρώπου-ειδικού στον τομέα αυτό (domain expert). Για το σκοπό αυτό, ένας τέτοιος αλγόριθμος συχνά απαιτείται να έχει ικανότητα γενίκευσης από παραδείγματα, ανακάλυψης και σύνδεσης γενικών εννοιών (αφαιρετική ικανότητα), κωδικοποίηση γνώσης και εξαγωγής συμπερασμάτων βάσει αυτής, εκμετάλλευση προηγούμενης “εμπειρίας” από το παρελθόν (προσαρμογή στα σφάλματα), κ.ά. Σε πρακτικό επίπεδο, παρόμοιοι αλγόριθμοι κάνουν δυνατή την βέλτιστη επίλυση “κλειστών” προβλημάτων γνωστικής ικανότητας, όπως για παράδειγμα παιχνίδια όπως το σκάκι, αλλά και πολύ πιο σύνθετα προβλήματα στον πραγματικό κόσμο, όπως η αναγνώριση φωνής, η κατανόηση ανθρώπινης γλώσσας, η αναγνώριση προσώπων, η αναγνώριση χειρόγραφων κειμένων, η ανάλυση και αυτόματη διάγνωση σε ιατρική εικόνα, κτλ.
Αυτόνομα οπλικά συστήματα (Autonomous Weapons Systems – AWS)³:

Στην κατηγορία αυτή περιλαμβάνονται οπλικά συστήματα τα οποία ενσωματώνουν σε μικρότερο ή μεγαλύτερο βαθμό την ικανότητα διόρθωσης ή πλήρως αυτόνομης καθοδήγησης με σκοπό τη βέλτιστη στόχευσης και καταστροφή στόχου. Η ικανότητα αυτή περιλαμβάνει ένα ευρύτατο σύνολο λιγότερο ή περισσότερο “έξυπνων” λειτουργιών, από τον αυτόματο πυροκροτητή υψομέτρου (αντιαεροπορικά βλήματα Β'ΠΠ) ή βυθού (ανθυποβρυχιακές βόμβες Β'ΠΠ), μέχρι τους πλήρως αυτόνομους-ρομποτικούς πυραύλους τύπου κρουζ με καθοδήγηση δορυφορική / αδρανειακή / αναγνώρισης εδάφους και πυροκροτητές με μέτρηση διάτρησης (σε συγκεκριμένο σημείο εντός κτιρίων).

Με βάση τα παραπάνω, είναι φανερό ότι η Τεχνητή Νοημοσύνη και τα AWS ή “lethal” AWS (LAWS) εμπλέκονται όλο και περισσότερο μεταξύ τους. Τις τελευταίες τρεις δεκαετίες η ψηφιακή τεχνολογία και οι ολοένα αυξανόμενοι υπολογιστικοί πόροι που γίνονται διαθέσιμοι σε εξαιρετικά μικρή κλίμακα κυκλωμάτων επιτρέπουν την υλοποίηση όλο και πιο σύνθετων, πιο απαιτητικών και πιο “έξυπνων” αλγορίθμων στα σύγχρονα οπλικά συστήματα. Ταυτόχρονα, η πολυπλοκότητα και η απαιτούμενη ταχύτητα επεξεργασίας καθιστά την ανθρώπινη παρέμβαση όχι μόνο λιγότερο απαραίτητη αλλά συχνά αρνητικό παράγοντα (“bottleneck”) στις διαδικασίες λήψης απόφασης, π.χ. στο σύστημα καθοδήγησης ενός πυραύλου που ταξιδεύει με 3-5 την ταχύτητα του ήχου προς το στόχο. Ως αποτέλεσμα, τα τελευταία χρόνια τα σύγχρονα οπλικά συστήματα γίνονται όλο και πιο αυτόνομα⁴^,⁵, όχι μόνο μετά την βασική απόφαση χρήσης-πυροδότησής τους, αλλά και πριν από αυτή.

Δυστυχώς οι ενδείξεις είναι ότι η επένδυση σε ανάπτυξη όλο και πιο “έξυπνων” αυτόνομων οπλικών συστημάτων συνεχώς θα αυξηθεί τα επόμενα χρόνια. Μόλις τον περασμένο Σεπτέμβριο η υπηρεσία DARPA των ΗΠΑ ανακοίνωσε⁶ την έναρξη νέου προγράμματος ύψους 2 δις $ έρευνας & ανάπτυξης συστημάτων ΤΝ για την καλύτερη συνεργασία ανθρώπου-μηχανής⁷^,⁸. Αντίστοιχο πρόγραμμα ύψους 2,1 δις $ ανακοίνωσε⁹ ήδη και η Κίνα τον Ιανουάριο (2018), ενώ από πέρυσι η κυβέρνηση έχει ξεκινήσει το τριετές πλάνο¹⁰^,¹¹ αναβάθμισης της χώρας σε παγκόσμιο ηγέτη στον τομέα της ΤΝ. Αξίζει να σημειωθεί πως η υπηρεσία DARPA στο δικό της μακροπρόθεσμο πλάνο¹² με το όνομα “A.I. Next” επισημαίνει¹³ ως βασικό στόχο την αναβάθμιση της ΤΝ από παθητικό εργαλείο υποστήριξης αποφάσεων σε πραγματικό “συνεργάτη” του ανθρώπου – πράγμα που στην περίπτωση ανάπτυξης οπλικών συστημάτων, που είναι ο βασικότερος τομέας επένδυσης της DARPA διαχρονικά, σημαίνει σημαντική αναβάθμιση της αυτονομίας των συστημάτων αυτών σε επίπεδο λήψης αποφάσεων χωρίς τη διαμεσολάβηση ή τον άμεσο έλεγχο από άνθρωπο.

Πέραν των βασικών ζητημάτων που σχετίζονται με τις ηθικές, κοινωνικές και νομικές διαστάσεις της χρήσης κάθε οπλικού συστήματος (π.χ. όπλα μαζικής καταστροφής), σήμερα η τεχνολογία επιτρέπει τη μεταφορά της ευθύνης της απόφασης ή μη ενεργοποίησης-χρήσης τους σχεδόν 100% στη “μηχανή”. Τα σύγχρονα μη επανδρωμένα πολεμικά εναέρια οχήματα (Unmanned Combat Aerial Vehicles – UCAV)¹⁴^,¹⁵ έχουν τη δυνατότητα να αναλύουν το πεδίο της μάχης, να αναγνωρίζουν στόχους, να καθοδηγούν ή να εκτοξεύουν δικούς τους πυραύλους και να τους καταστρέφουν, χωρίς ποτέ σε κανένα στάδιο να έχει παρέμβει ο ανθρώπινος παράγοντας. Τα προβλήματα ηθικής και νομικής ευθύνης που εμφανίζονται σε άλλους μη πολεμικούς τομείς σε περιπτώσεις εσφαλμένης λειτουργίας, όπως για παράδειγμα στα πλήρως αυτόνομα συστήματα οδήγησης σε αυτοκίνητα ή ακόμα και στα τυπικά συστήματα ελέγχου πέδησης ή αερόσακων, στα οπλικά συστήματα καθίστανται πολλαπλάσια σημαντικά καθώς αφορούν την απόφαση ή μη χρήσης μιας εξ' ορισμού θανάσιμης κατασκευής. Η αφαίρεση του ανθρώπινου παράγοντα από τη διαδικασία ελέγχου-ενεργοποίησης (control loop) δημιουργεί το περιθώριο εμφάνισης πολλαπλάσιων και εν γένει θανάσιμων συνεπειών που ακόμα είναι εξαιρετικά δύσκολο να προβλεφθούν. Ήδη, ακόμα και πολύ απλά “παθητικά” ρομποτικά συστήματα, όπως σε υποθέσεις της Uber¹⁶^,¹⁷ και της Amazon¹⁸, έχουν καταδείξει τη σοβαρότητα του προβλήματος, τόσο σε τεχνικό-σχεδιαστικό επίπεδο, αλλά κυρίως σε νομικό-ηθικό επίπεδο ως προς την ανάληψη ευθύνης (legal liability / moral hazard).

Το 2018 υπήρξαν μεταξύ άλλων δύο δημόσιες εκκλήσεις για τη διεθνή απαγόρευση των AWS/LAWS: Η πρώτη με τη μορφή ανοικτής επιστολής¹⁹^,²⁰ την οποία προσυπογράφουν μερικές από τις μεγαλύτερες εταιρίες και ιδιωτικοί οργανισμοί (π.χ. Google DeepMind), καθώς και μια σειρά από ακαδημαϊκά-ερευνητικά ιδρύματα από όλο τον κόσμο. Η δεύτερη με τη μορφή επίσημης δήλωσης-ψηφίσματος²¹ στον ΟΗΕ (Αύγουστος 2018) εκ μέρους των σχεδόν 4.000 επιστημόνων που συνυπογράφουν την παραπάνω επιστολή. Δυστυχώς, η Ελλάδα δεν υπερψήφισε το αντίστοιχο ψήφισμα που τέθηκε στο Ευρωκοινοβούλιο, ενώ συγκαταλέγεται²² στις χώρες που προς το παρόν δεν έχουν καμία απολύτως επίσημη πολιτική για την ΤΝ και τα AWS.

Ως επιστημονική και επαγγελματική Ένωση, οι βασικές θέσεις και Αρχές μας καθορίζονται από τον Κώδικα Δεοντολογίας της Πληροφορικής²³, τον πρώτο που παρουσιάζεται στην Ελλάδα για τον τομέα αυτό. Ακολουθώντας τη διεθνή ανησυχία ακαδημαϊκών, ερευνητικών, κοινωνικών, πολιτικών και κρατικών φορέων σε όλο τον κόσμο και εν όψει της κινητοποίησης που υπάρχει για το θέμα, η ΕΠΕ προτείνει τις παρακάτω θέσεις ως απαράβατους κανόνες για τη σωστή ανάπτυξη και χρήση της Τεχνητής Νοημοσύνης, ιδιαίτερα σε σχέση με τα AWS.

Οι θέσεις-προτάσεις της ΕΠΕ για την Τεχνητή Νοημοσύνη και τα AWS

Λαμβάνοντας υπόψη:

Το ψήφισμα της 16/2/2017 στο Ευρωκοινοβούλιο²⁴ σχετικά με τις “Ρυθμίσεις αστικού δικαίου στον τομέα της ρομποτικής”.
Το ψήφισμα της 12/9/2018 στο Ευρωκοινοβούλιο^{²⁵,²⁶,²⁷} σχετικά με τη διεθνή απαγόρευση αυτόνομων οπλικών συστημάτων ή “autonomous weapons ban”.
Ενέργειες που βρίσκονται σε εξέλιξη στον ΟΗΕ^²⁸,²⁹ προς την κατεύθυνση αυτή.
Την ανοικτή επιστολή^³⁰ επιστημόνων και ακαδημαϊκών από όλο τον κόσμο μέσω του Future of Life Institute (FLI), η οποία επικεντρώνεται γενικότερα στο πρόβλημα του “robotic weapons arms race”³¹.
Συλλογικές δράσεις φορέων και οργανώσεων για τη σωστή χρήση της Τεχνητής Νοημοσύνης³² και της Ρομποτικής, όπως το “Campaign to Stop Killer Robots”^³³,³⁴.
Γενικά αποδεκτές θέσεις-προϋποθέσεις ασφαλούς ανάπτυξης της σχετικής τεχνολογίας, όπως οι “Τρεις Νόμοι της Ρομποτικής” του I. Asimov³⁵^,³⁶.

Προτείνουμε τα εξής:

Βασικές Αρχές

Τεχνητής Νοημοσύνης & Ρομποτικής

Ο σκοπός της ανάπτυξης και εφαρμογής της Τεχνητής Νοημοσύνης & Ρομποτικής (ΤΝ&Ρ) δεν είναι χωρίς στόχευση. Πρέπει να εξυπηρετεί το κοινό καλό και την προστασία της ζωής.
Η επένδυση στην ανάπτυξη και στην εφαρμογή ΤΝ&Ρ πρέπει πάντα να συνοδεύεται από τη διασφάλιση διαφάνειας και της σωστής κατεύθυνσης, σε σχέση με τα ζητήματα ηθικής, ανθρωπιστικής, κοινωνικής, νομικής και οικονομικής διάστασης.
Η πρόσβαση στην επιστημονική, τεχνολογική και παραγωγική διάσταση της ΤΝ&Ρ πρέπει να είναι ισότιμη για όλους, διαχρονικά, ως ανθρώπινο δικαίωμα στη γνώση και στα ανθρώπινα αγαθά.
Τα αποτελέσματα της ανάπτυξης και εφαρμογής της ΤΝ&Ρ πρέπει να αφορούν ισότιμα το σύνολο της κοινωνίας, με ιδιαίτερη μέριμνα στα ζητήματα ασφάλειας, προστασίας των προσωπικών δεδομένων και σεβασμού των ατομικών ελευθεριών.
Η συμμόρφωση με το Νόμο, ιδιαίτερα η προστασία της ζωής, η απόδοση ευθύνης (liability), η ελαχιστοποίηση του ρίσκου και η αποτροπή ζημιών σε περίπτωση εσφαλμένης λειτουργίας (fail-safe) αποτελούν ύψιστη προτεραιότητα.
Ο έλεγχος των συστημάτων ΤΝ&Ρ πρέπει πάντοτε να διατηρείται ή να μπορεί να αναληφθεί κατά προτεραιότητα σε άνθρωπο, για την ολοκλήρωση σκοπών που καθορίζονται από τον άνθρωπο.
Η κατανόηση από άνθρωπο της εσωτερικής λειτουργίας και η δυνατότητα τεκμηρίωσης (auditing) των διαδικασιών λήψης αποφάσεων σε ένα σύστημα ΤΝ&Ρ θα πρέπει να διασφαλίζεται στο μέγιστο δυνατό βαθμό.
Η εφαρμογή συστημάτων ΤΝ&Ρ στην καθημερινή ζωή σε ευρεία κλίμακα θα πρέπει να σέβεται και να διασφαλίζει στο μέγιστο δυνατό βαθμό τη δυνατότητα προσωπικής επιλογής του κάθε ατόμου ως προς το αν επιθυμεί ή όχι να κάνει χρήση αυτής.
Η ενσωμάτωση των επιστημονικών και τεχνολογικών επιτευγμάτων της ΤΝ&Ρ σε πρακτικές εφαρμογές και η χρήση τους για ειρηνικούς σκοπούς είναι υποχρέωση όλων.
Η αυτο-βελτίωση και η αυτο-προστασία των συστημάτων ΤΝ&Ρ, ως βασική παράμετρος της σχεδίασής τους, θα πρέπει πάντα να υπόκειται στην αξιολόγηση από άνθρωπο και να διασφαλίζεται πως πραγματοποιείται προς ωφέλιμη κατεύθυνση.

Ως επιστημονική και επαγγελματική Ένωση Πληροφορικών, αλλά και ως απλοί πολίτες, είμαστε στη διάθεση της Πολιτείας, της Βουλής των Ελλήνων και των μελών του Ευρωκοινοβουλίου για περαιτέρω συνεισφορά στο παραπάνω εξαιρετικά κρίσιμο ζήτημα για τις επόμενες γενιές.

Το Διοικητικό Συμβούλιο
της Ένωσης Πληροφορικών Ελλάδας

URL: http://www.epe.org.gr, mailto:info(στο)epe.org.gr

1 https://www.britannica.com/technology/artificial-intelligence

2 https://en.wikipedia.org/wiki/Artificial_intelligence

3 https://en.wikipedia.org/wiki/Lethal_autonomous_weapon

4 “CODE Demonstrates Autonomy and Collaboration with Minimal Human Commands” (DARPA, 19/11/2018) – https://is.gd/owBO5B

5 https://www.defenseone.com/technology/2018/11/us-militarys-drone-swarm-strategy-just-passed-key-test/153007/

6 https://www.technologyreview.com/the-download/612007/the-pentagon-is-putting-billions-towards-military-ai-research/

7 https://www.darpa.mil/news-events/2018-09-07

8 “...contextual reasoning in AI systems to create more trusting, collaborative partnerships between humans and machines...”

9 https://www.technologyreview.com/the-download/609892/beijing-is-getting-a-21-billion-ai-district/

10 https://www.technologyreview.com/s/609038/chinas-ai-awakening/

11 http://www.miit.gov.cn/n1146295/n1652858/n1652930/n3757016/c5960820/content.html

12 https://www.darpa.mil/work-with-us/ai-next-campaign

13 “...DARPA envisions a future in which machines are more than just tools that execute human-programmed rules or generalize from human-curated data sets. Rather, the machines DARPA envisions will function more as colleagues than as tools...”

14 https://en.wikipedia.org/wiki/Unmanned_combat_aerial_vehicle

15 Τυπικά, τα Unmanned Combat Aerial Vehicles (UCAV) περιλαμβάνουν τόσο τα ελεγχόμενα από απόσταση, δηλαδή τα Remote Piloted Aircraft Systems (RPAS), όσο και τα πλήρως αυτόνομα ιπτάμενα μέσα που έχουν τη δυνατότητα εντοπισμού, αναγνώρισης και επίθεσης σε στόχους της επιλογής τους, χωρίς την παρέμβαση ανθρώπου-πιλότου από απόσταση. Η δεύτερη κατηγορία UCAV είναι αυτή που κυρίως βασίζεται σε προηγμένα συστήματα ΤΝ και που συγκαταλέγεται στα συστήματα AWS/LAWS, τα οποία σχολιάζονται εδώ. Ο όρος “drone” συχνά ταυτίζεται με τον όρο UCAV, όμως στις μη-στρατιωτικές εφαρμογές τα drones συνήθως είναι τύπου RPAS (όχι πλήρως αυτόνομα).

16 https://www.economist.com/the-economist-explains/2018/05/29/why-ubers-self-driving-car-killed-a-pedestrian

17 https://www.nytimes.com/interactive/2018/03/20/us/self-driving-uber-pedestrian-killed.html

18 https://www.theguardian.com/technology/2018/dec/06/24-us-amazon-workers-hospitalised-after-robot-sets-off-bear-repellent

19 https://futureoflife.org/lethal-autonomous-weapons-pledge/

20 https://futureoflife.org/laws-pledge/

21 https://futureoflife.org/statement-to-united-nations-on-behalf-of-laws-open-letter-signatories/

22 https://futureoflife.org/ai-policy/

23 Κώδικας Δεοντολογίας για την Πληροφορική (EΠΕ), Ιούλ.2016 – https://is.gd/Zc16ri

24 http://www.europarl.europa.eu/sides/getDoc.do?pubRef=-//EP//TEXT+TA+P8-TA-2017-0051+0+DOC+XML+V0//EL

25 http://www.europarl.europa.eu/sides/getDoc.do?pubRef=-//EP//TEXT+TA+P8-TA-2018-0341+0+DOC+XML+V0//EN&language=EN

26 http://www.europarl.europa.eu/news/en/press-room/20180906IPR12123/european-parliament-speaks-out-against-killer-robots

27 https://eeas.europa.eu/topics/economic-relations-connectivity-innovation/50465/autonomous-weapons-must-remain-under-human-control-mogherini-says-european-parliament_en