Cuando la tecnología reemplaza al criterio

El problema no es que la tecnología ayude a decidir. El problema es cuando decide en nuestro lugar. En la vida cotidiana actual, cada vez más elecciones llegan resueltas: qué leer, qué mirar, por dónde ir, a quién contactar, a qué tarifa. No se nos prohíbe decidir. Simplemente ya no hace falta.

De este desplazamiento del criterio hacia el sistema —la forma en que el filtro algorítmico moldea lo que vemos, y lo que cuesta sostener una habilidad que ya no se ejercita— ya nos ocupamos en La cultura de la tecnología y en Vivir mediado por sistemas. Este ensayo no vuelve sobre esa pérdida de práctica. Se concentra en una pregunta distinta, y más incómoda: cuando una decisión automatizada sale mal, ¿quién se hace cargo?

El alivio de que no sea nuestra la culpa

Una decisión tomada por criterio propio carga con una responsabilidad incómoda: si sale mal, fue una elección, y hay que responder por ella. Una decisión tomada por un sistema ofrece, a primera vista, un alivio distinto. Si algo falla, parece que no fue culpa de nadie en particular: era lo que el sistema recomendaba, lo que aparecía primero, lo que la mayoría elegía. El criterio propio carga consecuencias. La automatización parece diluirlas.

Ese alivio, sin embargo, es más frágil de lo que parece. Cuando efectivamente algo sale mal —un accidente de tránsito, un cobro indebido, un despido automatizado, un diagnóstico erróneo— alguien tiene que responder, porque la ley y el sentido común social exigen un responsable. Y ese alguien rara vez es el sistema.

El parachoques humano

La investigadora Madeleine Clare Elish propuso, en un artículo de 2019, un concepto que describe con precisión esta situación: las "zonas de deformación moral" (moral crumple zones). Lo que sigue es una lectura editorial de su trabajo, no una cita textual. Elish compara la posición del ser humano dentro de un sistema altamente automatizado con la zona de deformación de un automóvil: esa parte de la carrocería diseñada para absorber el impacto de un choque y proteger lo que está adentro. Su argumento es que, de manera similar, cuando un sistema automatizado falla, la responsabilidad legal y moral del fallo suele recaer sobre el humano que está más cerca del sistema en el momento del error, aunque esa persona haya tenido un control real mínimo sobre la decisión que llevó al desenlace. El piloto que supervisaba un sistema semiautónomo, el operador que apenas podía intervenir a tiempo, terminan absorbiendo una culpa que, en los hechos, diseñaron otros.

Es una inversión exacta de lo que promete el alivio de delegar. La persona cree que, al dejar que el sistema decida, se libera de la carga de la responsabilidad. Lo que en realidad ocurre, en muchos casos documentados, es que se convierte en el punto donde la responsabilidad se concentra cuando algo sale mal, precisamente porque es el único punto humano identificable dentro de un proceso que, de otro modo, no tiene a quién culpar.

Un vacío que el derecho todavía no resuelve

El filósofo Andreas Matthias había señalado antes, en 2004, un problema relacionado desde otro ángulo: a medida que los sistemas automatizados aprenden y se adaptan de forma cada vez más autónoma respecto de quienes los diseñaron, aparece lo que llamó un "vacío de responsabilidad" (responsibility gap). Esto también es lectura editorial, sin cita textual. Su planteo es que los marcos legales y éticos tradicionales fueron construidos para situaciones donde una persona identificable toma una decisión y responde por ella. Cuando el comportamiento final de un sistema es, en buena medida, producto de su propio aprendizaje y no de una instrucción directa de su creador, se vuelve difícil asignar esa responsabilidad de forma limpia: no es exactamente culpa de quien lo diseñó, ni de quien lo programó, ni de quien simplemente lo usó siguiendo sus recomendaciones.

El resultado práctico de este vacío no es que nadie responda. Es que alguien termina respondiendo de todas formas, casi siempre la persona con menos poder dentro de la cadena, no la que efectivamente definió las reglas del sistema.

El espejo paraguayo: la zona de deformación del trabajo de plataformas

Este mecanismo no es exclusivo de laboratorios de inteligencia artificial o de accidentes con vehículos autónomos en países con legislación sofisticada. Tiene una versión cotidiana, mucho más cercana, en el trabajo de plataformas de transporte y reparto que ya forman parte del paisaje urbano paraguayo.

En ese tipo de trabajo, buena parte de las condiciones concretas (qué tarifa se paga por un viaje, qué pedidos se asignan, cuándo una cuenta se suspende) las define un sistema algorítmico operado a distancia, con criterios que la persona que trabaja todos los días con esa aplicación generalmente no puede ver ni cuestionar en detalle. Hasta ahí, el mecanismo es el mismo que describimos en otros posts de esta sección sobre decisiones automatizadas opacas. Lo distinto, y lo que interesa acá, es qué pasa cuando algo falla: un accidente en la vía pública, un reclamo de un cliente, un error en un cobro. En ese momento, es la persona que maneja la moto o el auto, no el sistema que diseñó las reglas del viaje, quien enfrenta en soledad las consecuencias legales, económicas y hasta penales del hecho.

Esta dinámica se vuelve más pronunciada en un entorno donde, como ya señalamos al hablar de regulación tecnológica en este blog, no existen todavía instituciones robustas que fiscalicen cómo operan estos sistemas ni mecanismos ágiles para that una persona reclame cuando el diseño del sistema, y no su propio desempeño, fue la causa del problema. No es necesario nombrar una empresa en particular ni atribuirle una conducta específica para reconocer el mecanismo general: cuando el criterio se traslada a un sistema remoto y la responsabilidad legal sigue recayendo en la persona local, esa persona ocupa, en los hechos, el lugar de la zona de deformación. Absorbe el impacto para que el resto del sistema permanezca intacto.

Recuperar el derecho a decidir mal

El criterio propio no garantiza buenas decisiones. Garantiza, en todo caso, decisiones de las que alguien puede hacerse cargo con conocimiento de causa, y sobre las que alguien puede aprender si salen mal. Delegar una decisión en un sistema automatizado puede eliminar el esfuerzo de decidir, pero no elimina la necesidad de que alguien responda cuando el resultado es malo. Solo cambia, de forma poco visible, quién es esa persona.

Recuperar el criterio no implica rechazar los sistemas que ayudan a decidir todos los días. Implica algo más puntual y más urgente: que la responsabilidad legal y moral se ubique donde efectivamente está el poder de diseñar las reglas, y no, por default, en quien simplemente se encuentra más cerca cuando algo se rompe.

En resumen

La tecnología ofrece un alivio real al delegar decisiones: menos esfuerzo, menos duda, menos desgaste. Pero ese alivio esconde una trampa estructural. Cuando un sistema automatizado falla, la responsabilidad no desaparece: se traslada, casi siempre hacia la persona con menos capacidad de haber evitado el error. En el trabajo de plataformas que ya es parte de la vida cotidiana paraguaya, esa persona suele ser quien maneja, reparte o atiende, mientras las reglas que determinaron el resultado se definieron en otro lugar, fuera de su alcance y, muchas veces, fuera del alcance de cualquier institución que pueda revisarlas.

Fuentes

• Elish, M. C. (2019). "Moral Crumple Zones: Cautionary Tales in Human-Robot Interaction". Engaging Science, Technology, and Society. (Referencia al concepto de "zona de deformación moral"; lectura editorial, sin cita textual.)
• Matthias, A. (2004). "The responsibility gap: Ascribing responsibility for the actions of learning automata". Ethics and Information Technology. (Referencia al concepto de "vacío de responsabilidad"; lectura editorial, sin cita textual.)