See discussions, stats, and author profiles for this publication at: https://www.researchgate.

net/publication/28124883

Límites Eticos de la Inteligencia Artificial

Article · January 2001

Source: OAI

CITATIONS READS

0 2,893

1 author:

Fernando de Cuadra
Universidad Pontificia Comillas
22 PUBLICATIONS   114 CITATIONS   

SEE PROFILE

Some of the authors of this publication are also working on these related projects:

Smart-DS: Synthetic Models for Advanced, Realistic Testing: Distribution systems and Scenarios View project

All content following this page was uploaded by Fernando de Cuadra on 19 December 2013.

The user has requested enhancement of the downloaded file.

 Límites éticos de la
inteligencia artificial
Artículo publicado en la Revista Hispanoamericana de Cultura “Razón y Fe”. Mayo 2001

Se describe a lo largo del artículo la inteligencia ar-

tificial como actividad, destacando los aspectos en
que aparecen problemas éticos según el campo es-
pecífico de aplicación. Posteriormente la exposición
se centra en los sistemas de toma de decisión, y con-
cretamente en aquellos en los que hay que considerar
múltiples criterios conflictivos. Por último, en las conclu-
siones finales se trata de recoger criterios que permitan
establecer los límites éticos de la inteligencia artificial.

Introducción someternos a las decisiones del segundo.

¿Se podrá automatizar cualquier tarea ac- ¿Por qué? Los dos son sistemas automáticos,
tualmente desempeñada por seres humanos? que parten de una cierta información para
Creo que sí. ¿Y las tareas intelectuales más tomar decisiones que pueden ser críticas.
abstractas, que sólo llevan a cabo personas Este ar tículo trata de analizar la naturaleza
muy capaces y especializadas? También. Las de la barrera que separa estos dos tipos de
Fernando de Cuadra García máquinas ya reemplazan con éxito a campeo- sistemas automáticos.
Dr. Ingeniero Industrial del I.C.A.I. Es nes de ajedrez o a pilotos de avión.Y lo más
Profesor Propio Agregado de la UPCo espectacular está aún por llegar. Ingeniería
e Investigador del Instituto de Investi- En la práctica, los límites técnicos no son En general, el objetivo de la ingeniería es
gación. críticos. Los avances de la tecnología rompen el diseño, desarrollo y explotación de siste-
las barreras establecidas a mayor velocidad mas más o menos complejos para mejorar
de lo que la sociedad y el individuo puedan las condiciones de vida de las personas de
asimilar. Los límites físico-teóricos están de- una forma racional y controlada. Los siste-
masiado lejos para que lleguen realmente a mas están formados por estructuras, má-
restringir posibilidades. Debemos mucho quinas y personas que colaboran activa o
antes encontrarnos con otros obstáculos, de pasivamente en la consecución de los fines
naturaleza económica, sociojurídica y –espe- establecidos.
cialmente– ética. Los límites técnicos de la ingeniería se esta-
Parece que hay cier ta diferencia esencial blecen dinámicamente según los avances teó-
entre un piloto automático y un juez auto- ricos de la ciencia (modelos y principios con-
mático (o médico, o policía). Nos resignamos trastados experimentalmente) y los avances
a poner nuestra vida en manos del primero, prácticos de la tecnología (capacidad de dise-
pero seguramente pondríamos reparos a ño, fabricación y control). Otros límites im-

10 anales de mecánica y electricidad. Enero-Febrero 2002

portantes son los de la imaginación creativa. seguir escrupulosamente las normas y no co-
Pero debe distinguirse entre imaginar un sis- meter negligencias, errores ni fraudes. Debe
tema visto desde fuera, como un comporta- tenerse en cuenta además que en muchos
miento deseable, e imaginar un sistema visto proyectos de ingeniería ni siquiera son rele-
desde dentro, como un comportamiento fac- vantes las decisiones iniciales (por ejemplo, el
tible y controlable. Lo primero es un ejercicio desarrollo de un nuevo modelo de televisor).
de creatividad especulativa o artística, necesa- Algo fundamental en los proyectos de in-
ria pero no suficiente para desarrollar un sis- geniería es que siempre existe un responsa-
tema. Si no somos capaces de ir más allá, nos ble de cada aspecto del proyecto: diseño,
quedamos en el terreno de la ciencia-ficción. seguridad, pruebas, puesta en marcha, man-
Lo segundo es un ejercicio de creatividad tenimiento, etc. Si se produce un fallo, se su-
práctica propio de la ingeniería, que en gene- pone culpable al responsable, que tiene que
ral podemos llamar diseño. demostrar su inocencia. La responsabilidad
Cuando los sistemas que se desea desarro- es muy importante, pues condiciona crítica-
llar son complejos, los proyectos de ingeniería mente el grado de autonomía de las máquinas
también lo son. Esto obliga a que las decisiones inteligentes.
–y los problemas éticos asociados a las mis-
mas– se tomen en sucesivas etapas siguiendo Inteligencia artificial
una estructura jerárquica. Simplificando, pode- Bajo este nombre recojo un conjunto
mos identificar cinco etapas fundamentales: bastante diverso de disciplinas que persiguen
• Aplicación de políticas generales y estu- objetivos similares: resolver automáticamente
dios preliminares. problemas, y/o realizar tareas, que por su
• Especificación. complejidad requieren un cier to grado de
• Diseño. inteligencia. Entre estas disciplinas incluyo la
• Desarrollo. programación matemática, la investigación
• Explotación. operativa, la informática avanzada, la ingenie-
Tomemos por ejemplo la construcción de ría del conocimiento y el control inteligente.
una central nuclear. En la primera etapa debe En cuanto a su vertiente aplicada, considero
decidirse sobre el conflicto entre rentabilidad la inteligencia artificial como una rama más
y peligros de la energía nuclear y, si se decide de la ingeniería.
que compensa globalmente, hay que adoptar Muchos autores restringen el término “in-
un conjunto de normas de seguridad que mi- teligencia artificial” a un conjunto limitado de
nimizar estos peligros hasta límites tolerables. tipos de aplicaciones informáticas. Esto se
En la segunda etapa se describe en detalle el debe a diversas causas: razones históricas,
conjunto de características técnicas de la cen- modas intelectuales; prejuicios gremiales, suti-
tral, como su localización, potencia y tipos de lezas técnicas, ventajas comerciales, el estado
tecnología, pero también se detalla como se actual de la tecnología, o simple ignorancia.
deben aplicar las normas de seguridad decidi- Los argumentos más respetables que se ma-
das en la primera etapa. En la tercera se des- nejan para hacer esta distinción son de dos
criben con detalle todos los subsistemas de la tipos:
central, las conexiones y relaciones entre • La naturaleza del problema o tarea que se
ellos y cómo se plasman en todas y cada una desea automatizar. Algunos ejemplos son la
de sus piezas las normas y procedimientos de visión artificial, el aprendizaje, algunos proble-
seguridad de la segunda etapa. En la fase de mas complejos de control, el diagnóstico a
desarrollo se construye, y en la de explota- partir de síntomas, el diseño “creativo”, y el
ción se mantiene el sistema bajo control para procesamiento de lenguaje natural.
respetar en todo momento las normas ema- • La técnica (o tecnología) empleada. Por
nadas de las etapas anteriores. ejemplo, algunos tipos de lenguajes de pro-
Las decisiones con mayor contenido ético gramación, la búsqueda heurística, las redes
se plantean en las fases iniciales de un pro- neuronales, la lógica borrosa, los sistemas
yecto. Frecuentemente, aparece un conflicto expertos, y el reconocimiento de patrones.
entre beneficio económico y daño al medio Según mi experiencia, toda frontera que se
ambiente, entre bienestar a cor to plazo y quiera establecer entre inteligencia artificial e
posibles desastres a medio plazo, o también informática convencional es superficial, difusa,
entre molestias a una minoría frente a su- y dependiente del estado del arte. Por esto
puestos beneficios para la mayoría. A partir creo que resulta más adecuado eliminar de
de la decisión inicial, básicamente hay que raíz dicha frontera.

Límites éticos de la inteligencia artificial 11

 Aunque hay sistemas electromecánicos Dos tipos de aplicaciones de la inteligencia
analógicos capaces de realizar tareas bas- artificial también se van a dejar deliberada-
tante complejas, la inteligencia artificial está mente fuera de esta discusión. Uno es el
estrechamente relacionada con los sistemas recreativo y artístico, que incluye el campo
digitales. Los sistemas digitales están com- de los videojuegos y la realidad vir tual. El
puestos por máquinas físicas y vir tuales otro es el de las herramientas avanzadas de
(hardware y software) cuyo comportamiento trabajo y los equipos técnicos especializados,
puede describirse mediante álgebra –o lógica– utilizadas en actividades industriales, burocrá-
binaria. La capacidad potencial de los siste- ticas o contables.
mas digitales para implantar comportamientos La amenaza planteada por el primer tipo
complejos es inmensa. A ello contribuyen la de aplicaciones está relacionada con pro-
inversión en tecnología avanzada en hardware, blemas psicológicos de alienación, adicción,
la posibilidad de abstracción del software y la incomunicación personal o educación. No se
propia automatización de técnicas de diseño y discute aquí por falta de conocimiento y por
verificación. Los límites prácticos se deben tanto de opinión fundada sobre el tema. La
fundamentalmente al estado de la tecnología amenaza planteada por la automatización de
de los dispositivos físicos (almacenamiento actividades laborales se relaciona con la des-
limitado de información, tiempo de respuesta, trucción de puestos de trabajo. Esta amena-
tamaño y consumo), y a las restricciones im- za se ignora por considerar que la dinámica
puestas por el mercado en cuanto rentabili- del mercado de trabajo es una realidad ya
dad de las inversiones. muy conocida y globalmente beneficiosa
¿Pueden las máquinas ser inteligentes, o (aunque pueda afectar localmente a algunos
bien sólo parecerlo? Ésta es una cuestión colectivos, y esto debe resolverlo la legisla-
que puede suscitar discusiones interminables ción laboral). Quien argumenta, por ejemplo,
(y muy entretenidas), pero es irrelevante que una excavadora quita el trabajo a mu-
desde el punto de vista –siempre práctico– de chos obreros, simplemente ignora los pues-
la ingeniería. Si un sistema funciona como si tos de trabajo generados por su diseño, fabri-
fuera inteligente, ¿qué importa si realmente cación, comercialización, transporte, manejo,
lo es? Otra cuestión bien distinta es la res- mantenimiento, formación de personal espe-
ponsabilidad. Una máquina no es libre, y por cializado y otras actividades asociadas.
tanto no es responsable de sus decisiones ni No es fácil clasificar los campos de aplica-
de sus actos. Liber tad, responsabilidad y ción de la inteligencia artificial, pues tienden a
conciencia son características propias de la ser todos los imaginables. Para identificar
condición humana, y estrechamente relacio- grandes familias de aplicaciones y sus proble-
nada entre sí. mas éticos asociados se ha optado aquí por
un criterio sencillo y bastante claro, basado
Aspectos éticos según en las funciones más elementales que realiza
tipos de aplicaciones un sistema digital.
Se considera aquí que las decisiones pro- A diferencia de otras especialidades de
blemáticas desde un punto de vista ético ingeniería, la materia prima de la inteligencia
son sólo aquellas que puedan perjudicar artificial es la información, en la que se mate-
directa o indirectamente a las personas. Por rializa algo más abstracto, que es el conoci-
lo tanto se debe cuestionar si el desarrollo miento. Hay cuatro funciones básicas que se
y explotación de un sistema inteligente pue- realizan en cualquier proceso o sistema com-
de afectar a la vida, la salud (lo que incluye plejo: almacenamiento, transporte, proceso y
el medio ambiente), la libertad, la intimidad, control. En función de estas cuatro tareas
el puesto de trabajo o la dignidad de al- básicas, identificamos los siguientes tipos de
guien, y en general a su bienestar físico y aplicaciones informáticas:
mental. • Gestión de información. La información se
Hay áreas de trabajo que son en sí mis- almacena físicamente en las memorias, y a
mas una fuente inagotable de preocupación más alto nivel en las bases de datos. En estas
ética. En este grupo incluyo los sistemas de aplicaciones, la función principal es el almace-
armamento, la genética y la industria de al- namiento y recuperación de información.
to riesgo medioambiental. Dado su carác- • Comunicación. La información se transpor-
ter general y su amplia difusión, este tipo ta mediante sistemas y redes de comunicacio-
de problemas éticos no es objeto de este nes. En estas aplicaciones, el transporte es la
artículo. función más importante.

12 anales de mecánica y electricidad. Enero-Febrero 2002

• Control. El control de los sistemas consis- empleará un proyecto real de logística, como
te en la sincronización de las tareas que rea- es la asignación óptima de turnos de trabajo
liza cada uno de los subsistemas para garan- en una empresa.
tizar la consecución de una tarea común más Centrémonos en cómo resolver el proble-
compleja. En estas aplicaciones, la función de ma de forma automática. La solución del
control es dominante. problema se modela como un valor concreto
• Razonamiento automático. El proceso o de un conjunto de variables de decisión. En
transformación de información corre a cargo el ejemplo, algunas variables de decisión pue-
de procesadores (a nivel físico) y sistemas de den ser el número total de turnos, las horas
cálculo automático en general. En este tipo de comienzo de cada turno, o las horas de
de sistemas, la función de proceso de infor- descanso programadas. La solución tendrá
mación es la fundamental. que cumplir una serie de restricciones; por
Cualquier sistema digital complejo reúne ejemplo, que haya en todo momento un nú-
todas estas funciones básicas. Pero habitual- mero suficiente de trabajadores (restricción
mente es fácil identificar cuál es la función técnica) o que ningún turno supere ocho
dominante de una aplicación, y esto nos horas de duración (restricción legal, pactada,
permite caracterizar sus distintos problemas o simplemente racional).
éticos asociados de una forma sencilla. Toda solución que cumpla las restricciones
En las aplicaciones de gestión de informa- es una solución factible. Pero si hay más de
ción y de comunicación, los problemas éticos una solución factible, se querrá seleccionar la
están relacionados con el derecho a la inti- mejor (o las mejores) de todas, y eso se
midad y a un cierto grado de anonimato de determina mediante atributos, objetivos o
las personas. No existe una garantía real de criterios de optimización. Un atributo podría
seguridad (informática) ante el acceso de ser minimizar el número total de trabajo, y
personas no autorizadas a nuestros datos otro podría ser respetar al máximo las prefe-
más íntimos. Existe el riesgo de opresión por rencias de horario de cada trabajador, o in-
un estado policial, o por otro tipo de organi- tentar centrar las horas de descanso dentro
zaciones.También se puede poner en peligro de cada turno de trabajo.
el derecho a la rehabilitación, haciéndonos Si se desea obtener sólo una solución fac-
esclavos de por vida de nuestra historia pa- tible, basta con buscar una que respete todas
sada. las restricciones. Si además se desea obtener
En las aplicaciones de control (robótica, la solución óptima, hay que seleccionar la
transportes automatizados, control de pro- mejor de entre las factibles. Esto último exige
cesos industriales), los problemas éticos definir ar tificialmente qué se entiende por
son los propios de la ingeniería clásica: có- “mejor”. Una práctica habitual es sopesar los
mo se garantiza la seguridad (física) de las distintos atributos reduciéndolos a una sola
personas y del medio ambiente, quién se función que se desea minimizar (función
hace responsable de ella en caso de fallos objetivo). Por ejemplo, una suma ponderada
y, por tanto, de posibles desastres. El proble- de atributos donde cada factor de pondera-
ma se reduce al análisis, gestión y acepta- ción refleja la impor tancia relativa de cada
ción social del riesgo asociado al progreso uno frente a los demás. La solución óptima
tecnológico. será la que corresponda a un valor mínimo
En las aplicaciones de razonamiento auto- de la función objetivo.
mático, los problemas éticos son quizá más Si los atributos son realmente conflictivos
complejos y sutiles. A su discusión se dedica entre sí, será difícil incluirlos en una única
el siguiente apartado. función objetivo. En el ejemplo empleado, es
difícil ponderar el número total de horas de
Razonamiento automático trabajo (coste) frente al grado de satisfac-
y toma de decisiones ción de los trabajadores. Otro ejemplo habi-
Aunque hay diversas técnicas alternativas tual en ingeniería es el conflicto entre mini-
para abordar este tipo de desarrollos, se va a mizar el coste de una inversión industrial
emplear aquí un enfoque propio de la pro- frente a minimizar su impacto medioambiental.
gramación matemática y de la investigación Lo más correcto (práctica y éticamente) en
operativa. Esto es suficiente porque todas las estos casos es aplicar técnicas de optimiza-
técnicas persiguen los mismo objetivos y, por ción multiatributo, que permitan obtener un
tanto, también plantean los mismos proble- conjunto óptimo de soluciones no condicio-
mas éticos. Para facilitar la exposición se nado por una determinada ponderación.

Límites éticos de la inteligencia artificial 13

 Este conjunto de soluciones cumple la mienta como ayuda, y no como elemento
propiedad de que ninguna es objetivamente frío de decisión. Los objetivos finales de la
peor ni objetivamente mejor que ninguna aplicación se pueden modificar parcialmente
otra. La herramienta automática ayuda a la durante el proyecto, y en algunos casos esta
toma de decisiones proporcionando un con- influencia puede considerarse un deber
junto óptimo de alternativas y la información desde el punto de vista ético.
necesaria para ponderarlas, pero la decisión Una cuestión más general es hasta qué
final –y por tanto la responsabilidad– se deja punto debe confiarse a una máquina la toma
al usuario de la herramienta. de decisiones, cuando nunca puede ser res-
ponsable de las mismas. Antes de tratar este
Razonamiento automático y ética tema, vamos a excluir de la discusión una
El problema ético más inmediato en un gran cantidad de aplicaciones: todas aquellas
sistema de razonamiento automático es el en las que la solución de un problema es
mismo que en otros tipos de sistemas: hasta única por naturaleza. Esto puede ocurrir por-
qué punto el objetivo fundamental de la apli- que las restricciones permitan sólo una solu-
cación es ético.Ya se ha comentado que hay ción o porque no existen realmente atribu-
áreas de trabajo éticamente delicadas, como tos conflictivos entre sí.
el armamento, la genética o cier tos tipos En el caso de problemas con solución única,
de aplicaciones industriales. En el ejemplo la toma automática de decisiones no es éti-
anterior de los turnos de trabajo el objeti- camente discutible. Una solución errónea se-
vo es opinable, porque puede verse como ría simplemente un fallo, pero no se delega la
un arma empleada para explotar al trabajador responsabilidad. Se debe tratar como una
(se emplea para negociar convenios, pero aplicación de tipo “control”, y por tanto debe
sólo dispone de ella la empresa) o como un desarrollarse bajo las normas de seguridad
método racional para obtener beneficios correspondientes a la gravedad de las conse-
mejorando al mismo tiempo las condiciones cuencias del fallo. En casos en que esté en
de trabajo. juego la vida humana, esto incluye pruebas
En las aplicaciones de toma de decisiones, sistemáticas, auditorías, redundancias de sis-
la definición y forma de uso de la herramien- temas, monitorización y funciones de auto-
ta depende en gran medida de la labor del comprobación. El sistema debe funcionar
ingeniero de especificación y diseño, frente a además bajo la supervisión de personas que
otros tipos de proyecto controlados más rí- son responsables legal y moralmente de su
gidamente por el cliente. Existe la posibilidad buen comportamiento.
de definir restricciones con flexibilidad, de En problemas que incluyen atributos éti-
hacer explícitos los criterios conflictivos y de camente conflictivos, la decisión final debe
mostrar las posibilidades reales de la herra- tomarla una persona que se haga responsable

14 anales de mecánica y electricidad. Enero-Febrero 2002

 de las consecuencias. Una herramienta auto- especialidades de ingeniería. Ante el posible
mática puede generar el conjunto de solucio- riesgo de desastres y accidentes, hay que
nes óptimas, para que el usuario de la herra- establecer las normas, procedimientos y con-
mienta escoja entre ellas. En el ejemplo de la troles de seguridad necesarios. Además hay
distribución de turnos de trabajo, la empresa que contar con la supervisión de personas
puede naturalmente elegir la solución de que se hagan responsables legal y moral-
mínimo coste ignorando el bienestar de los mente del compor tamiento del sistema,
trabajadores (respetando sólo mínimos legales siempre bajo el supuesto de que no existe
o de convenio). Pero se dan dos circunstancias un sistema absolutamente infalible.
muy interesantes: primero, se conocen los • En las aplicaciones de gestión masiva de
costes objetivos de ceder más o menos en la información y comunicaciones, se puede
negociación, pues está disponible todo el amenazar seriamente la intimidad, libertad y
abanico de soluciones óptimas; segundo, en dignidad de las personas. Esto plantea pro-
ninguna de las soluciones óptimas se perjudica blemas éticos especiales, en particular por-
a los trabajadores innecesariamente, sino sólo que es muy difícil responsabilizar directa-
en caso de que realmente esto represente un mente a una persona u organización de los
beneficio significativo para la empresa. posibles abusos y usos indeseables del po-
Esta última propiedad es muy importante. der de la información.
Por ejemplo, mediante los resultados obteni- • En las aplicaciones de tipo “razonamiento
dos por la herramienta de razonamiento automático”, hay que distinguir entre razona-
automático, se comprobó que se podía au- mientos de solución única (que se tratarían
mentar bastante el tiempo de descanso de éticamente como aplicaciones de control), y
los trabajadores sin que la empresa se viera razonamientos que emplean argumentos
afectada en absoluto. Curiosamente, el pro- éticamente conflictivos, en los que se puede
blema de la duración del descanso había generar automáticamente un conjunto de
ocupado horas de negociación en años ante- decisiones óptimas. La presencia de argu-
riores, al igual que otros puntos conflictivos mentos conflictivos en la toma de decisiones
sólo en apariencia. debería dejar a la máquina el papel de gene-
rar estos datos objetivos y precisos sobre la
Resumen y conclusiones verdadera medida del conflicto, para consulta
No es la tecnología la que restringirá la y ayuda de la persona responsable. Esto tam-
aplicación de sistemas automáticos a cual- poco garantiza –evidentemente– que la deci-
quier tipo de actividad. Mejor será entonces sión final sea éticamente correcta, pero al
que sean sus problemas éticos asociados los menos puede evitar errores innecesarios,
que establezcan los límites prácticos. como sería el adoptar una decisión que es
Un sistema automático inteligente puede peor que otra desde cualquier punto de vista.
desarrollarse para cualquier tipo de finalidad. La falta de libertad y, por tanto, de respon-
Por tanto, una fuente de problemas éticos es sabilidad de las máquinas se presenta aquí
la valoración de la finalidad en sí. Ejemplo de como factor crítico para limitar su acción y
áreas de trabajo éticamente discutibles son autonomía. Naturalmente, podemos cuestio-
la industria de armamento, los procesos in- nar si somos nosotros realmente libres y re-
dustriales contaminantes o la manipulación almente responsables de nuestros actos y
genética. decisiones. Tal vez sólo seamos máquinas
Un campo en el que lo discutible no son programadas de forma tan compleja como
los objetivos, sino el uso de la Inteligencia Ar- para crear nuestra propia ilusión de libertad.
tificial en sí, es el de los juegos y el arte. Es Y tal vez la conciencia sea un mecanismo de
discutible su uso por la posibilidad de adic- supervivencia social, adquirido y transmitido
ción, y por la deshumanización –o aliena- de generación a generación. Está bien, no
ción– en unas actividades tan ligadas tradi- podemos saberlo con certeza. Pero sí sabe-
cionalmente a las relaciones personales. mos con certeza que alguien tiene que hacer
Clasificados los tipos de sistemas inteli- de juez, de médico o de policía.Y que ese al-
gentes por sus funciones principales (almace- guien tiene que hacerse responsable de sus
namiento, transporte, control y proceso), se decisiones, por lo que no puede ser una má-
han identificado tres grandes familias de pro- quina creada por nosotros. Tal vez en el fon-
blemas éticos: do no sepamos lo que somos, pero sí que
• En las aplicaciones de tipo “control”, los estamos seguros de lo que nuestras máqui-
problemas éticos son similares a los de otras nas son: nada más que máquinas.

Límites éticos de la inteligencia artificial 15

View publication stats