www.onemagazine.es
Fotograma de la película 'Yo, robot'
Ampliar
Fotograma de la película 'Yo, robot'

Qué pasa si los robots de guerra se convierten en autónomos

En los últimos años, el uso de sistemas robóticos y autónomos en conflictos armados y otras situaciones de violencia ha crecido exponencialmente. Sin embargo, todavía no existe una regulación internacional específica. Actualmente, hay dos posiciones enfrentadas en la comunidad internacional: los partidarios de la prohibición y los que quieren que el asunto continúe sin regular

En los últimos años, el uso de sistemas robóticos y autónomos en conflictos armados y otras situaciones de violencia ha crecido exponencialmente. Sin embargo, todavía no existe una regulación internacional específica. Actualmente, hay dos posiciones enfrentadas en la comunidad internacional: los partidarios de la prohibición y los que quieren que el asunto continúe sin regular

Introducción

Los sistemas robóticos y autónomos (RAS) armados no son una novedad. Sin embargo, todavía carecen de regulación internacional. Ya se están utilizando en una amplia variedad de funciones. Un censo realizado por la Universidad de Arizona registra 283 sistemas de armas autónomas.

Hace poco más de un mes se celebraba la Quinta Conferencia de la Convención sobre Ciertas Armas Convencionales (CCW) para tratar los sistemas de armas autónomas letales. La decisión es crear un Grupo Gubernamental de Expertos que elabore un informe con recomendaciones para finales de este año.

El proceso regulatorio se enfrena a muchas dificultades. Las conversaciones están lastradas por el uso de terminologías diferentes, distintas valoraciones sobre la problemática, y puntos de vista divergentes sobre si conviene legislarlo y, en su caso, cómo. Es un asunto urgente. A diferencia de otras tecnologías de defensa, como las armas guiadas de precisión o las capacidades furtivas, que proceden de laboratorios militares secretos, gran parte de la innovación en sistemas autónomos está liderada por el sector comercial.

Los sistemas no tripulados teledirigidos pronto serán reemplazados por otros cada vez más autónomos en todos los dominios (aire, mar, tierra y espacio) y en todo el rango de operaciones militares. Y las ciberoperaciones se van a entrecruzar con la robótica. Entre 50 y 80 países están desarrollando robots y/o hacen uso operativo de robots en el campo de batalla. Aunque todavía ningún Estado está usando robótica letal completamente autónoma, la tecnología parece que pronto va a estar disponible.

Ambigüedad terminológica

Cuando la autonomía está referida a un sistema, solamente es posible conceptualizarla en un contexto particular. De hecho, algunos autores sostienen que no debería emplearse esa palabra referida a la tecnología.

La autonomía siempre es relativa. Un sistema es autónomo, respecto a un conjunto de metas y a un conjunto de influencias (por parte de humanos o de otros sistemas) que son vistas como interrupciones, si consigue las metas bajo esas interrupciones sin intervención externa. Así, un sistema puede tener un alto o un bajo nivel de autonomía respecto a una meta. Un alto nivel de autonomía implica que el grado de intervención humana (o de otros sistemas) es bajo.

En la práctica solo parte de un sistema presenta comportamientos autónomos. Las funciones autónomas pueden estar solo en una parte de la plataforma, distribuidas entre la plataforma y el sistema, o en el sistema, como muestra la Figura 1.

La autonomía no es una cualidad que posea el sistema, sino una función dentro de un sistema. Para referirse a un sistema o a una plataforma en particular, lo adecuado es hablar de sistema con funciones autónomas o de plataforma autónoma funcionando en un sistema.

La autonomía presenta una especial relevancia en los sistemas robóticos y autónomos armados. Actualmente, se utiliza en funciones relacionadas con el combate, como adquirir, rastrear, identificar y dar la entrada a objetivos potenciales; apuntar armas; priorizar objetivos para ser atacados; sincronizar el disparo o lanzar armas; maniobrar y perseguir objetivos; y detonar. Generalmente, los humanos mantienen el control de las decisiones sobre el uso de la fuerza y sobre la selección de objetivos específicos. La selección y el ataque de objetivos se consideran funciones críticas.

El control humano sobre la tecnología

La esencia de la autonomía es delegar en una máquina tareas que antes realizaba un ser humano. Eso motiva cuestiones sobre cómo conservar el control humano efectivo sobre el comportamiento de la máquina y cuáles son los riesgos asociados a la pérdida de control en términos de probabilidad y de consecuencias. El riesgo principal es el enfrentamiento involuntario.

En general, los elementos clave del control humano sobre la tecnología son:

- Tecnología predecible, fiable y transparente.

- Información precisa para el usuario sobre el contexto de uso, y sobre los resultados buscados, la operación y las funciones de la tecnología.

- Acción humana oportuna con potencial de intervención oportuna.

- Rendición de cuentas respecto a un estándar determinado.

Al final la decisión de dónde trazar la línea de permisibilidad de los sistemas de armas que incorporan autonomía son políticas, en lugar de meramente técnicas.

Existe un cierto consenso sobre la necesidad de alguna forma de control humano sobre los sistemas robóticos y autónomos armados. Uno de los términos más difundidos es control humano significativo (meaningful human control).

El concepto de control humano significativo engloba tres aspectos importantes que no están recogidos explícitamente en las leyes de la guerra: rendición de cuentas, responsabilidad moral y controlabilidad:

1) Rendición de cuentas

Podría imaginarse un arma autónoma que, cuando funciona adecuadamente, cumple todos los requerimientos de las leyes de la guerra, pero que cuando falla y ataca a un objetivo equivocado, no hay ningún humano al que hacer responsable y, por lo tanto, no hay rendición de cuentas.

2) Responsabilidad moral

Los humanos deben seguir siendo responsables legalmente, pero también moralmente por las acciones de las armas autónomas. Ciertas decisiones sobre el uso de las armas requieren juicios legales y morales, como sopesar las víctimas civiles esperadas frente a las ventajas militares de realizar un determinado ataque.

3) Controlabilidad

Suele mantenerse un control central en el despliegue de sistemas armamentísticos, pero pueden existir ciertos contextos donde se prefiera el uso de armas con funciones autónomas. Y es que la tolerancia militar al riesgo puede variar considerablemente según culturas y posiciones estratégicas. Cualquier arma es susceptible de fallos y accidentes, pero las armas autónomas añaden una nueva dimensión, porque un fallo podría provocar que el sistema seleccionara y atacara inapropiadamente un gran número de objetivos.

Existe el riesgo de desarrollar armas que sean legales cuando funcionan adecuadamente, pero que no son seguras y pueden causar graves daños si funcional mal o se enfrentan a situaciones inesperadas.

Aspectos éticos de los sistemas autónomos armados

Los sistemas de armas autónomas plantean diversas cuestiones morales y éticas que no están recogidas explícitamente en el derecho internacional humanitario, pero que deberían considerarse:

- Algunos sugieren que los sistemas de armas autónomas podrían ser más precisos y discriminantes que los seres humanos, y podrían reducir las víctimas civiles.

- Los sistemas autónomos armados asimismo podrían producir una descarga de la responsabilidad moral por matar, aumentando el uso y la cantidad total de muertes.

- Existen ejemplos de situaciones de conflicto en las que era lícito matar, pero los humanos se han abstenido de hacerlo. En teoría, los sistemas autónomos armados pueden no tener esa restricción y entonces su uso podría provocar más muertes.

- En cambio, hay muchos ejemplos de situaciones de conflicto en las que los humanos han cometido crímenes de guerra y otros actos de violencia movidos por las emociones.

Si se programaran los sistemas de armas autónomas para que cumplieran el derecho internacional humanitario, esos sistemas podrían reducir las muertes en la guerra.

Los valores políticos y militares modernos son unos fuertes motivadores para continuar con el desarrollo y el despliegue de armas robóticas. Pero, dada la magnitud del malestar frente al uso reciente de los sistemas telerobóticos de armas y la amenaza de la adaptación tecnológica inversa, sería razonable establecer límites al diseño y al uso de los sistemas robóticos armados. Hacen falta normas éticas que guíen el diseño de sistemas robóticos armados y las políticas de uso.

Los sistemas robóticos armados podrían desempeñar un papel potencialmente positivo para resolver conflictos armados de forma justa y ética. Para lograrlo habría que adoptar normas éticas que restrinjan ciertos aspectos de la toma de decisiones autónomas con respecto a objetivos humanos, que limiten las capacidades de dichos sistemas, su despliegue y su uso. Todos esos límites deben cumplirse desde el propio diseño para reducir los efectos de la adaptación tecnológica inversa.

Existen diversas propuestas para introducir normas éticas en los sistemas robóticos y autónomos en la fase de diseño. Una de ellas aboga por incluir un componente denominado gobernador ético. Su misión es transformar y suprimir la acción letal generada por el sistema para asegurar que constituye una acción éticamente admisible.

Introduce un cuello de botella dentro de una arquitectura híbrida deliberativa y reactiva, que fuerza a considerar una segunda opinión antes de realizar una respuesta de comportamiento letal. Si el gobernador ético necesita intervenir, debe enviar una notificación al sistema deliberativo para permitir la replanificación a nivel táctico o de misión que sea apropiada, y para avisar al operador de una potencial infracción ética de una o varias restricciones.

Otra propuesta ofrece un enfoque general para definir y desplegar constricciones éticas en sistemas robóticos que operan autónomamente con control humano ocasional, como algunos sistemas marítimos no tripulados (UMS). Utiliza una máquina de estado finito como base para la definición de la misión y para el control de alto nivel. Está basada en un modelo de comportamiento racional, que consiste en una arquitectura de control de robot en tres capas (estratégica, táctica y de ejecución), modeladas sobre la jerarquía de control de las embarcaciones navales.

Soluciones alternativas sugieren enseñar ética a los robots. Sin embargo, no es una tarea fácil. No basta con fijar principios generales como necesidad militar, proporcionalidad y no atacar a civiles. Hay un abismo entre esos principios y las acciones concretas que deben realizar, y no existe ningún modo de programar todas las eventualidades. El aprendizaje automático (machine learning) podría ser una solución. En primer lugar, adiestraría al robot para reconocer conceptos relevantes. En segundo, aportaría un código de conducta en forma de reglas que incluyan esos conceptos. En tercer lugar, facilitaría que el robot aprendiera cómo aplicar el código observando a soldados humanos. Ahora bien, eso puede ser problemático. El robot podría confundirse seriamente viendo las acciones de los humanos, que a menudo violan su propia ética.

Se podría limpiar los datos de entrenamiento para incluir sólo aquellos ejemplos que un panel de expertos en ética acordara que el soldado humano ha tomado la decisión correcta, y los panelistas también podrían inspeccionar y afinar el modelo. El acuerdo podría ser difícil de alcanzar si el panel de expertos en ética incluye perfiles tan variados como debería.

Aspectos legales de los sistemas autónomos armados

En los últimos años, el uso de sistemas no tripulados en guerras y otras situaciones de violencia ha crecido exponencialmente, y los Estados continúan invirtiendo para aumentar la autonomía operativa. Su empleo presenta importantes desafíos. Como involucran la aplicación de fuerza armada, su legalidad internacional está regulada primariamente por los derechos humanos y, en situaciones de conflicto armado, por el derecho internacional humanitario. Cuando el uso de robots armados interfiere en la soberanía territorial de otros Estados, además puede suscitar cuestiones de legalidad bajo las normas de Naciones Unidas.

La aplicación de los principios legales internacionales origina controversias. Unas están relacionadas con la legalidad de los propios robots armados, y otras son relativas al modo y las circunstancias en que se está usando por los Estados. La incertidumbre sobre las leyes aplicables, el rápido desarrollo y la proliferación de la tecnología robótica, junto con la percepción de falta de transparencia y de rendición de cuentas en las políticas actuales, pueden polarizar a la comunidad internacional, socavando el imperio de la ley, y también desestabilizar la seguridad internacional en su conjunto.

¿Son ilegales los sistemas de armas autónomas? No hay una prohibición específica en las leyes. Sin embargo, igual que con cualquier arma, su uso debe cumplir los principios de distinción y proporcionalidad, entre otros. Algunos usos son ilegales, mientras que otros podrían ser lícitos.

Actualmente ningún robot operativo puede distinguir fiablemente entre objetivos militares legítimos y personas civiles, ni tampoco tomar precauciones para evitar la selección errónea de objetivos, o valorar la proporcionalidad de los daños civiles colaterales.

La preocupación por los sistemas autónomos armados surgía hace una década, pero aún no existen normas internacionales. Uno de los primeros llamamientos públicos a la necesidad urgente de regulación data de 2007. En mayo de 2010, el Relator Especial de las Naciones Unidas sobre ejecuciones extrajudiciales, sumarias o arbitrarias, Philip Alston, abordaba los asesinatos selectivos, y señalaba que nuevas tecnologías, como los drones, han hecho más fácil matar y con menos riesgos para el Estado que las utiliza. Además añadía que muchas de esas prácticas violan claramente las leyes aplicables.

En noviembre de 2012, el Departamento de Defensa de Estados Unidos de América publicaba la Directiva 3000.09, que establece unas directrices para minimizar la probabilidad y las consecuencias de los fallos en sistemas autónomos y semiautónomos que puedan conducir a enfrentamientos involuntarios, y menciona el término de nivel apropiado de discernimiento humano en el uso de la fuerza, pero no lo define.

En mayo de 2013, el Relator Especial de las Naciones Unidas sobre ejecuciones extrajudiciales, sumarias o arbitrarias, Christof Heyns, recomendaba que se declarara e implantara una moratoria respecto a la prueba, producción, ensamblado, transferencia, adquisición, despliegue y uso de los sistemas autónomos armados, como mínimo hasta que se alcanzara un acuerdo internacional sobre el marco futuro de esos sistemas.

A mediados de abril de 2015 se celebraba una reunión informal de expertos en sistemas autónomos armados en el marco de la Convención sobre Ciertas Armas Convencionales (CCW). En su comentario, Christof Heyns resaltaba el creciente consenso sobre la noción de control humano significativo. En el contexto de los conflictos armados, las armas autónomas deberían permitirse si los humanos retienen un control significativo, pero deberían ser prohibidas en caso contrario.

A mediados de diciembre de 2016 tiene lugar la Quinta Conferencia de la Convención sobre CCW para tratar los sistemas de armas autónomas letales. La decisión acordada es establecer un Grupo Gubernamental de Expertos sobre esa materia con el mandato de elaborar un informe con recomendaciones para finales de 2017.

Hasta ahora, 19 estados firmantes de la Convención CCW están a favor de prohibir los sistemas de armas autónomas letales. La inmensa mayoría de los países están indecisos o no quieren imponerse límites a sí mismos. Para ambos grupos ―los indecisos y los opuestos implícitamente― la continuación de las conversaciones es deseable. Para el grupo formado por las naciones que ya emplean sistemas de armas autónomas letales, las conversaciones son un modo de vigilar, influir, retrasar e incluso impedir que el proceso fragüe. Esos países tienen muy poco interés en prohibir sus propios sistemas de armas, por eso perpetuar las conversaciones en la CCW hasta el infinito es aceptable.

Sistemas autónomos armados en aplicaciones policiales y de seguridad interior

El empleo de sistemas autónomos armados en situaciones de conflicto armado y en asesinatos selectivos no está exento de polémica. Sin embargo, su utilización policial todavía despierta muchas más suspicacias por sus implicaciones en los derechos humanos fundamentales. Entre otras razones, porque la Convención sobre Ciertas Armas Convencionales (CCW) excluye las actividades de los cuerpos de seguridad.

El aumento de la autonomía en el uso de la fuerza puede ocurrir en varios contextos: Durante un conflicto armado (donde la fuerza en juego será principalmente letal) o en aplicaciones policiales (donde la norma es usar el mínimo de fuerza).

En los últimos años se han producido avances tecnológicos en sistemas autónomos, que están disponibles para agentes policiales y para actores no estatales como compañías de seguridad privadas. Esos avances conllevan dos problemas:

1) El potencial letal de las armas menos letales

Los principios básicos del uso de la fuerza por los miembros de los cuerpos de seguridad establecen que, cuando la fuerza sea necesaria, debería graduarse siempre que sea posible. No basta con distinguir entre fuerza letal y no letal. Incluso si es poco probable que produzca una muerte, el uso de la fuerza debe ser el mínimo requerido por las circunstancias de cada caso.

2) El aumento de la despersonalización en el uso de la fuerza

Ese fenómeno ya se produce con sistemas no tripulados controlados a distancia por humanos como los drones. El uso de tales armas durante conflictos armados no es inherentemente ilegal, pero existen serias preocupaciones sobre su uso.

Las aplicaciones policiales actuales de sistemas no tripulados armados incluyen el control de multitudes, la acción contra clases específicas de perpetradores (como fugitivos de cárceles o cazadores furtivos), y la provisión de un perímetro de protección alrededor de edificios (como prisiones de alta seguridad) o en áreas de frontera.

Asimismo se emplean para vigilar oleoductos, contra el tráfico de drogas, contra el crimen organizado o en operaciones antiterroristas. También existen plataformas robóticas armadas y lanzadores para dispersar manifestantes con gases lacrimógenos o balas de goma, para infligir potentes descargas eléctricas y para marcar a ciertos manifestantes con pintura.

En julio de 2016, el Departamento de Policía de Dallas (Estados Unidos) causaba la muerte de un tirador detonando a distancia un robot teledirigido cargado de explosivos.

Esos hechos suscitan muchas cuestiones éticas y legales, incluso siendo una unidad controlada a distancia. Aunque el uso de la fuerza esté justificado, los métodos de matar importan por sus efectos en la sociedad.

Conclusiones

El incremento de la autonomía de los robots preocupa especialmente en el supuesto de los sistemas autónomos armados. Poco a poco, el ser humano está siendo expulsado del ciclo de decisión. Paralelamente se agranda la distancia a la guerra. En los últimos años el uso de sistemas robóticos y autónomos en conflictos armados y otras situaciones de violencia ha crecido exponencialmente, y los países siguen invirtiendo para aumentar la autonomía operativa.

El problema es que todavía no existe una definición legal de control humano significativo que sea aceptada a nivel internacional, ni tampoco una caracterización jurídica de la autonomía en los sistemas robóticos y autónomos. Para contrarrestar la adaptación tecnológica inversa sería razonable establecer límites a los sistemas robóticos y autónomos, sobre todo a los armados. Faltan normas éticas y legales que guíen su diseño y su uso, que además introduzcan criterios de seguridad, auditabilidad, confiabilidad y robustez desde el mismo momento de la concepción.

Hay dos posiciones enfrentadas en la comunidad internacional. Por un lado están los partidarios de la prohibición de los sistemas de armas autónomas letales. Por el otro, los que prefieren que el asunto siga sin regular.

La Quinta Conferencia de la Convención sobre Ciertas Armas Convencionales (CCW), recién celebrada a mediados de diciembre de 2016, ha supuesto un ligero avance, porque formaliza las conversaciones sobre la cuestión, que hasta ahora eran informales.

Sin embargo, el mandato otorgado al nuevo Grupo Gubernamental de Expertos se limita a la elaboración de un informe con recomendaciones para finales de este año 2017. No incluye la autoridad para negociar, ni tampoco ninguna referencia a instrumentos legales, ni a la posibilidad de una prohibición o una moratoria.

Ya hay desplegados sistemas de armas que incorporan autonomía en funciones críticas como seleccionar y atacar objetivos humanos. Sin embargo, no parece que esté cerca su regulación legal por falta de voluntad política. Salvo que se produzca un desgraciado suceso catastrófico que involucre a un sistema autónomo (armado o no), las conversaciones podrían eternizarse sin alcanzar el consenso requerido para promulgar las normas indispensables.

¿Te ha parecido interesante esta noticia?    Si (0)    No(0)
Compartir en Meneame

¿Qué opinas? (Login)
Normas de uso
  • Esta es la opinión de los internautas, no de Onemagazine
  • No está permitido verter comentarios contrarios a la ley o injuriantes.
  • La dirección de email solicitada en ningún caso será utilizada con fines comerciales.
  • Tu dirección de email no será publicada.
  • Nos reservamos el derecho a eliminar los comentarios que consideremos fuera de tema.