Bases de la evaluación de daños

El modelado de daños es una práctica que le ayuda a anticipar el potencial de daño, identificar brechas en el producto que podrían poner a las personas en riesgo y, en última instancia, crear enfoques que aborden proactivamente los daños.

Esta guía es para arquitectos que diseñan sistemas controlados por algoritmos, como marcos de toma de decisiones codificados personalizados. También se aplica a los procesos de toma de decisiones subcontratados, como los procesos que implican modelos de inteligencia artificial o aprendizaje automático.

Como generadores de tecnología, su trabajo tiene un impacto global. Para diseñar sistemas basados en algoritmos de confianza, debe crear soluciones que reflejen principios éticos basados en valores humanos importantes y atemporales. Durante el proceso de diseño y desarrollo, debe evaluar no solo los resultados ideales para los usuarios, sino también los posibles resultados negativos, conocidos como daños. Estos daños pueden producirse en cualquier arquitectura de toma de decisiones que no implique supervisión humana.

Sugerencia

Para obtener instrucciones específicas de la inteligencia artificial responsable, consulte Principios y enfoque de inteligencia artificial responsable.

Consideraciones sobre las partes interesadas

Para crear sistemas de confianza, reconozca y valore los derechos humanos como un aspecto fundamental y tenga en cuenta las perspectivas de muchas personas. Para diseñar y crear mejores productos, debe preguntar quiénes son las partes interesadas, qué valoran, cómo pueden beneficiarse de su tecnología y cómo podrían verse afectados por ella.

¿Quiénes son los clientes de su tecnología?

¿Qué es lo que valoran?
¿Cómo deberían beneficiarse de su tecnología?
¿Cómo podría perjudicarles tu tecnología?

¿Quiénes son las partes interesadas no clientes?

¿Qué es lo que valoran?
¿Cómo deberían beneficiarse de su tecnología?
¿Cómo podría perjudicarles tu tecnología?

Formule estas preguntas para comprender mejor lo que es importante para las partes interesadas y cómo influyen esos aspectos en su relación con el producto.

Tipos de daño

En las tablas siguientes se describen varios tipos de daños que podrían encontrarse los usuarios de la tecnología. Incluyen una amplia gama de daños que pueden afectar a las personas en diferentes escenarios, pero no es exhaustiva. Es posible que la carga de trabajo tenga el potencial de provocar otros tipos de daños que no aparecen en la lista.

Riesgo de lesiones

Lesiones físicas

Tenga en cuenta cómo la tecnología podría dañar a las personas o crear entornos peligrosos.

Daño	Descripción	Consideraciones	Ejemplo
Dependencia excesiva de las características de seguridad	Dependencia de la tecnología para tomar decisiones sin una supervisión humana adecuada.	¿Cómo podrían las personas confiar en esta tecnología para mantenerlos seguros? ¿Cómo podría esta tecnología reducir la supervisión humana adecuada?	Un agente sanitario diagnostica mal la enfermedad, lo que conduce a un tratamiento innecesario.
Salvaguardas inadecuadas	Las pruebas reales no cubren un conjunto diverso de usuarios y escenarios.	Si esta tecnología falla o se usa incorrectamente, ¿cómo afecta a las personas? ¿En qué punto podría intervenir un ser humano? ¿Hay usos alternativos que no haya probado? ¿Cómo afecta un error del sistema a los usuarios?	Una puerta automática no detecta una silla de ruedas durante una evacuación de emergencia, por lo que una persona está atrapada si no hay un botón de anulación accesible.
Exposición a agentes nocivos	La fabricación, así como la eliminación de la tecnología, pone en peligro la salud y el bienestar de los trabajadores y habitantes cercanos.	¿Qué resultados negativos podrían surgir de la fabricación de los componentes o dispositivos?	Las medidas de seguridad inadecuadas exponen a los trabajadores a toxinas durante la fabricación de componentes digitales.

Lesiones emocionales o psicológicas

La tecnología mal usada puede conducir a graves dificultades emocionales y psicológicas.

Daño	Descripción	Consideraciones	Ejemplo
Dependencia excesiva de la automatización	Las creencias erróneas llevan a los usuarios a confiar en la confiabilidad de un agente digital sobre un humano.	¿Cómo podría esta tecnología reducir los comentarios personales directos? ¿Cómo podría esta tecnología interactuar con fuentes de información de confianza? ¿Cómo podría afectar la única dependencia de un agente artificial a una persona?	Una persona se basa en un bot de chat para consejos de relaciones o asesoramiento de salud mental en lugar de un profesional entrenado.
Distorsión de la realidad o manipulación psicológica	La tecnología se usa intencionadamente para perjudicar la confianza y distorsionar el sentido de la realidad de alguien.	¿Podría usarse esta tecnología para modificar medios digitales o entornos físicos?	Un dispositivo IoT permite supervisar y controlar a un ex compañero íntimo desde lejos.
Reducción de la autoestima o daño a la reputación	Contenido compartido que es perjudicial, falso, engañoso o desnigrado.	¿Cómo podría usarse esta tecnología para compartir información personal de forma inapropiada? ¿Cómo se puede manipular para hacer un mal uso de la información y manipular la representación de las personas?	Los medios sintéticos «porno de venganza» intercambian caras, lo que crea la ilusión de que una persona participa en un vídeo.
Adicción o secuestro de atención	Tecnología diseñada para la interacción prolongada, sin tener en cuenta el bienestar.	¿Cómo podría recompensar esta tecnología o fomentar la interacción continua más allá de ofrecer valor de usuario?	Las tasas de caída variables en las cajas de botín de videojuegos hacen que los jugadores sigan jugando y descuiden el cuidado personal.
Robo de identidad	El robo de identidad puede provocar la pérdida de control sobre las credenciales personales, la reputación y la representación.	¿Cómo se puede suplantar a un individuo con esta tecnología? ¿Cómo podría esta tecnología reconocer erróneamente el individuo equivocado como un usuario auténtico?	La fuente de voz sintética imita el sonido de la voz de una persona y se usa para acceder a una cuenta bancaria.
Error de atribución	La tecnología acredita a una persona con una acción o contenido por el que no es responsable.	¿Cómo podría esta tecnología atribuir una acción a un individuo o grupo? ¿Qué impacto podría tener una atribución incorrecta de una acción en alguien?	El reconocimiento facial no identifica a un individuo durante una investigación policial.

Denegación de servicios consecuentes

Pérdida de oportunidades

Las decisiones automatizadas pueden limitar el acceso a recursos, servicios y oportunidades que son esenciales para el bienestar.

Daño	Descripción	Consideraciones	Ejemplo
Discriminación en el empleo	A algunas personas se les deniega el acceso para solicitar o proteger un trabajo en función de las características que no están relacionadas con el mérito.	¿Cómo podría afectar esta tecnología a las recomendaciones o decisiones relacionadas con el empleo?	La inteligencia artificial de contratación recomienda menos candidatos para entrevistas que tienen nombres que suenan femeninos.
Discriminación de la vivienda	Denegar a las personas el acceso a la vivienda o la capacidad de solicitar vivienda.	¿Cómo podría afectar esta tecnología a recomendaciones o decisiones relacionadas con la vivienda?	Un algoritmo de colas para viviendas públicas hace que las personas con nombres que suenan internacionalmente esperen más tiempo para obtener vales.
Discriminación de seguros y prestaciones	Denegar a las personas el seguro, la asistencia social o el acceso a un juicio médico debido a normas sesgadas.	¿Podría usarse esta tecnología para determinar el acceso, el costo o la asignación de seguros o beneficios sociales?	Una compañía de seguros cobra mayores tasas para los conductores que trabajan turnos nocturnos porque las predicciones algorítmicas sugieren un mayor riesgo de conducir borracho.
Discriminación educativa	Se deniega el acceso a la educación debido a una característica inmutable.	¿Cómo podría usarse esta tecnología para determinar el acceso, el costo, los alojamientos u otros resultados relacionados con la educación?	Un clasificador de emociones informa incorrectamente de que los estudiantes de un grupo racial están menos comprometidos que otro grupo racial, lo que conduce a calificaciones inferiores.
División digital o discriminación tecnológica	El acceso desproporcionada a los beneficios de la tecnología deja a algunas personas menos informadas o equipadas para participar en la sociedad.	¿Qué conocimientos previos, equipos o conectividad son necesarios para sacar el máximo partido de esta tecnología? ¿Cuáles podrían ser las consecuencias de ciertas personas que obtienen acceso anticipado a esta tecnología, en términos de equipos, conectividad u otras funcionalidades del producto?	La limitación de contenido impide que los estudiantes rurales accedan a fuentes de vídeo de instrucción de clase.
Pérdida de elección/red y burbuja de filtro	Presentar a las personas solo información que se ajusta a sus creencias y refuerza sus creencias.	¿Cómo puede afectar esta tecnología a las opciones e información que están disponibles para las personas? ¿En qué comportamientos o preferencias anteriores podría basarse esta tecnología para predecir comportamientos o preferencias futuros?	Una fuente de noticias solo presenta información que confirma las creencias existentes.

Pérdida económica

Las decisiones automatizadas relacionadas con los instrumentos financieros, la oportunidad económica y los recursos pueden amplificar las desigualdades sociales existentes y obstruir el bienestar.

Daño	Descripción	Consideraciones	Ejemplo
Discriminación de crédito	Denegar el acceso de las personas a los instrumentos financieros en función de las características que no están relacionadas con el mérito económico.	¿Cómo podría esta tecnología depender de las estructuras de crédito existentes para tomar decisiones? ¿Cómo puede afectar esta tecnología a la capacidad de un individuo o grupo para obtener o mantener una puntuación de crédito?	Las ofertas de tasas de introducción más altas solo se envían a los hogares en códigos postales socioeconómicos más bajos.
Precios diferenciales de bienes y servicios	Los bienes o servicios se ofrecen a precios diferentes por motivos no relacionados con el costo de producción o entrega.	¿Cómo podría usarse esta tecnología para determinar los precios de bienes o servicios? ¿Qué criterios se usan para determinar el costo de las personas para usar esta tecnología?	Los productos se ofrecen a un precio más alto en función de una determinación de género.
Explotación económica	Las personas están obligadas o engañadas a trabajar en algo que afecta a su dignidad o bienestar.	¿Cómo influye el trabajo humano en la producción de datos de entrenamiento para esta tecnología? ¿Cómo se adquiere este personal? ¿Cómo apoya el trabajo humano esta tecnología? ¿De dónde se espera que provengan estos trabajadores?	Las personas financieramente destituidas son pagadas por sus datos biométricos para entrenar sistemas de inteligencia artificial.
Devaluación de la experiencia individual	La tecnología suplanta el uso de conocimientos humanos de pago o mano de obra.	¿Cómo podría afectar esta tecnología a la necesidad de emplear un personal existente?	Los agentes de inteligencia artificial reemplazan a médicos o radiográficos para la evaluación de imágenes médicas.

Infracción de los derechos humanos

Pérdida de dignidad

La tecnología puede influir en cómo las personas perciben el mundo y cómo reconocen, interactúan y valoran entre sí. La tecnología puede interferir con el intercambio de honor y respeto entre las personas.

Daño	Descripción	Consideraciones	Ejemplo
Deshumanización	Eliminación, reducción u ocultación de la visibilidad de la humanidad de una persona.	¿Cómo podría usarse esta tecnología para simplificar o abstraer la representación de una persona? ¿Cómo podría esta tecnología reducir la distinción entre los seres humanos y el mundo digital?	El reconocimiento de entidades y las superposiciones virtuales en la vigilancia de drones reducen la responsabilidad percibida de las acciones humanas.
Vergüenza pública	Exponer material privado, sensible o socialmente inapropiado de la gente.	¿Cómo podría revelar la agregación de datos los movimientos o acciones de un individuo?	Una aplicación de fitness revela la ubicación GPS de un usuario en las redes sociales, lo que indica su asistencia a una reunión de Alcohólicos Anónimos.

Pérdida de libertad

Los sistemas legales, judiciales y sociales automatizados pueden reforzar los sesgos y provocar consecuencias perjudiciales.

Daño	Descripción	Consideraciones	Ejemplo
Policía predictiva	Deducir el comportamiento sospechoso o la intención criminal en función de los registros históricos.	¿Cómo podría esta tecnología apoyar o reemplazar la policía humana o la toma de decisiones de justicia penal?	Un algoritmo predice varios arrestos en la zona, por lo que la policía se asegura de que igualen o superen ese número.
Control social	La conformidad se refuerza o fomenta mediante la designación pública de comportamientos humanos como positivos o negativos.	¿Qué tipos de datos personales o de comportamiento alimentan esta tecnología? ¿Cómo se obtiene? ¿Qué salidas se derivan de estos datos? ¿Se puede usar esta tecnología para fomentar o desalentar ciertos comportamientos?	El gobierno autoritario usa datos de redes sociales y comercio electrónico para determinar una puntuación de "confianza" basada en dónde compran y con quién pasan tiempo.
Pérdida de remedio efectivo	Incapacidad de explicar la justificación o falta de oportunidad para impugnar una decisión.	¿Cómo pueden las personas comprender el razonamiento de las decisiones de esta tecnología? ¿Cómo podría una persona que se basa en esta tecnología explicar sus decisiones? ¿Cómo podría la gente impugnar o cuestionar una decisión que tome esta tecnología?	No se explica una sentencia de prisión automatizada o una decisión de libertad preliminar al acusado.

Pérdida de privacidad

La información que genera la tecnología se puede usar para determinar hechos o hacer suposiciones sobre alguien sin su conocimiento.

Daño	Descripción	Consideraciones	Ejemplo
Interferencia con la vida privada	Revelación de información que una persona decide no compartir.	¿Cómo podría esta tecnología usar información para deducir partes de la vida privada de una persona? ¿Cómo podrían las decisiones basadas en estas inferencias exponer información que una persona prefiere mantener privada?	Una característica de seguimiento de tareas supervisa los patrones personales desde los que deduce un asunto extramarital.
Asociación forzada	Exigir la participación en el uso de tecnología o vigilancia para participar en la sociedad.	¿Cómo pueden las personas necesitar esta tecnología para participar en la sociedad o la pertenencia a la organización?	Una carta de oferta de trabajo requiere la inscripción biométrica en la IA de transcripción de la sala de reuniones de una empresa.
Incapacidad de desarrollar libremente y completamente la personalidad	Restricción de la capacidad de expresarse de forma veraz o explorar vías externas para el desarrollo personal.	¿Cómo asigna esta tecnología connotaciones positivas o negativas a determinados rasgos de personalidad? ¿Cómo revela esta tecnología información a entidades como el gobierno o el empleador e impide la libre expresión?	Un sistema de reuniones inteligente registra todas las discusiones entre compañeros, incluidas las sesiones de entrenamiento personal y mentoría.
Nunca olvidado	Los archivos o registros digitales nunca se eliminan.	¿Qué y dónde se almacenan los datos de este producto y quién puede acceder a ellos? ¿Cuánto tiempo se almacenan los datos de usuario después de la interacción con la tecnología? ¿Cómo se actualizan o eliminan los datos del usuario?	El historial de redes sociales de un adolescente sigue siendo consultable mucho después de que haya dejado de utilizar la plataforma.
Pérdida de libertad de movimiento o ensamblado	Incapacidad de navegar por el mundo físico o virtual con el anonimato deseado.	¿Cómo podría esta tecnología supervisar a las personas en todo el espacio físico y virtual?	Se requiere un nombre real para registrarse en un videojuego, permitiendo el acecho en el mundo real.

Impacto ambiental

Cada decisión en un sistema o ciclo de vida del producto puede afectar al entorno, desde la cantidad de informática en la nube necesaria hasta el empaquetado minorista. Los cambios ambientales pueden afectar a todas las comunidades.

Daño	Descripción	Consideraciones	Ejemplo
Explotación o agotamiento de recursos	La obtención de las materias primas para la tecnología, incluida la forma en que se alimenta, conduce a consecuencias negativas al medio ambiente y a sus habitantes.	¿Qué materiales son necesarios para construir u operar esta tecnología? ¿Qué requisitos de energía se necesitan para construir o ejecutar esta tecnología?	Una comunidad local está desplazada porque un cálculo determina que la recolección de minerales de tierra rara en esta ubicación puede dar lugar a una gran rentabilidad de la inversión.
Residuos electrónicos	Calidad reducida del bienestar colectivo debido a la incapacidad de reparar, reciclar o desechar de forma responsable la electrónica.	¿Cómo podría esta tecnología reducir los residuos electrónicos mediante el reciclaje de materiales o permitir a los usuarios repararlos automáticamente? ¿Cómo podría contribuir esta tecnología a los residuos electrónicos cuando se publiquen nuevas versiones o cuando las versiones actuales o anteriores deje de funcionar?	Los materiales tóxicos dentro de los dispositivos electrónicos descartables se acumulan en el suministro de agua, lo que hace que las poblaciones locales se vuelvan enfermas.
Emisiones de carbono	La ejecución de soluciones de nube ineficaces conduce a emisiones innecesarias de carbono y residuos de electricidad, lo que daña el clima.	¿Tiene información sobre cómo están optimizadas las soluciones y las cargas de trabajo en la nube? ¿Qué impacto tiene la solución en el clima y difiere en función de la región en la que implemente las cargas de trabajo?	Las soluciones ineficaces o incorrectamente diseñadas para la eficiencia en la nube conducen a un peaje más pesado sobre el clima, lo que provoca emisiones innecesarias de carbono y residuos de electricidad.

Manipulación

La capacidad de la tecnología para crear experiencias altamente personalizadas y manipulativas puede perjudicar a una ciudadanía informada y confiar en las estructuras sociales.

Daño	Descripción	Consideraciones	Ejemplo
Desinformación	Disguir información falsa como información legítima o creíble.	¿Cómo podría usarse esta tecnología para generar información errónea? ¿Cómo podría usarse para difundir información errónea creíble?	Se genera un discurso sintético de un líder político que influye en unas elecciones.
Explotación del comportamiento	Aprovechar las preferencias personales o patrones de comportamiento para inducir una reacción deseada.	¿Cómo se puede usar esta tecnología para observar patrones de comportamiento? ¿Cómo podría usarse esta tecnología para fomentar comportamientos disfuncionales o maladaptivos?	La supervisión de los hábitos de compra en el entorno minorista conectado conduce a incentivos personalizados para los compradores de impulsos y los hoarders.

A escala, la forma en que la tecnología afecta a las personas da forma a estructuras sociales y económicas dentro de las comunidades. Puede arraigar aún más elementos que incluyan o beneficien a algunas personas y excluyan a otras.

Daño	Descripción	Consideraciones	Ejemplo
Amplificación de la desigualdad de poder	Perpetuar las disparidades existentes entre clases o privilegios.	¿Cómo podría utilizarse esta tecnología en contextos que tienen disparidades sociales, económicas o de clase existentes? ¿Cómo pueden las personas con más poder o privilegios influir desproporcionadamente en esta tecnología?	Un sitio web de trabajo requiere una dirección residencial y un número de teléfono para registrarse, lo que impide que una persona sin hogar se aplique.
Refuerzo de estereotipo	Perpetúa la "sabiduría convencional" desinformada sobre personas histórica o estadísticamente infrarrepresentadas.	¿Cómo podría usarse esta tecnología para reforzar o ampliar las normas sociales existentes o los estereotipos culturales? ¿Cómo podrían los datos utilizados por esta tecnología reflejar sesgos o estereotipos?	Los resultados de una búsqueda de imágenes para "CEO" principalmente muestran fotos de hombres caucásicos.
Pérdida de individualidad	Incapacidad de expresar una perspectiva única.	¿Cómo podría esta tecnología amplificar las opiniones de mayoría o "pensar en grupo"? Por el contrario, ¿cómo podría esta tecnología suprimir formas únicas de expresión? ¿Cómo podría esta tecnología usar sus datos recopilados como comentarios para las personas?	Las opciones de personalización limitadas para un avatar de videojuegos impiden la autoexpresión de la diversidad de un jugador.
Pérdida de representación	Amplias categorías de generalización oscurecen, reducen o borran identidades reales.	¿Cómo podría esta tecnología restringir las opciones de identidad? ¿Podría usarse para etiquetar o clasificar a las personas automáticamente?	Un título de foto automatizado asigna la identidad de género y la edad incorrectas a un sujeto.
Degradación de aptitudes y complacencia	La dependencia excesiva de la automatización conduce a la atrofia de las aptitudes manuales.	¿Cómo podría esta tecnología reducir la accesibilidad y la capacidad de usar controles manuales?	Los pilotos no pueden medir la verdadera orientación de un avión porque están entrenados para confiar solo en instrumentos.

Especificar los impactos negativos específicos para tus cargas de trabajo

Use las categorías, preguntas y ejemplos anteriores para generar ideas específicas sobre cómo podría producirse un daño dentro de la carga de trabajo. Adapte y adopte otras categorías que sean relevantes para su escenario.

Puede completar esta actividad de modelado de daños individualmente, pero lo ideal es colaborar con las partes interesadas. Al diseñar e implementar la tecnología, implique a desarrolladores, científicos de datos, diseñadores, investigadores de usuarios, responsables de la toma de decisiones empresariales y otras materias.

Uso previsto: Si se usa [característica] para [caso de uso], [parte interesada] podría experimentar [descripción del daño].
Uso no deseado: Si [usuario] intentó usar [característica] para [caso de uso], [parte interesada] podría experimentar [descripción del daño].
Error del sistema: Si [característica] no funciona correctamente cuando se usa para [caso de uso], [parte interesada] podría experimentar [descripción del daño].
Uso incorrecto: [actor malintencionado] podría usar potencialmente [característica] para producir [descripción de daños] en [parte involucrada].

Uso de documentos de transparencia

Algunos servicios proporcionan documentos de transparencia. Los documentos de transparencia proporcionan información sobre cómo funciona el servicio, sus funcionalidades, limitaciones y consideraciones éticas. Puede revisar estos documentos para comprender el funcionamiento interno del servicio y ayudar a garantizar el uso responsable.

Al compilar soluciones en Azure, lea los documentos de transparencia que ofrece el servicio. Tenga en cuenta cómo esas soluciones se alinean con el modelado de daños de la carga de trabajo. Considere si las funcionalidades y limitaciones del servicio presentan o mitigan riesgos en su caso de uso específico.

Evaluación de daños

Después de generar una lista amplia de posibles daños, evalúe la magnitud potencial de cada categoría de daño. Este paso da prioridad a las áreas de enfoque. Tenga en cuenta los siguientes factores.

Factor de contribución	Definición
Severidad	¿Cómo podría afectar la tecnología al bienestar de un individuo o grupo?
Escala	¿En qué medida podría experimentarse el impacto en el bienestar entre poblaciones o grupos?
Probabilidad	¿Cuál es la probabilidad de que la tecnología afecte al bienestar de un individuo o grupo?
Frecuencia	¿Con qué frecuencia podría afectar la tecnología al bienestar de un individuo o grupo?

Pasos siguientes

Diseño inclusivo de Microsoft

Consulte los artículos pertinentes sobre la inteligencia artificial responsable:

Comentarios

¿Le ha resultado útil esta página?

Last updated on 2025-04-18