Las nuevas formas de inequidad
“Juntos, las estructuras de datos y los algoritmos son dos mitades de la ontología del mundo según una computadora (Manovich, 1999)”
El éxito de las empresas y sus productos depende en gran medida de la síntesis de los datos y las percepciones de la reputación. En cada vez más configuraciones, la reputación está determinada por algoritmos secretos que procesan datos inaccesibles. Pocos de nosotros apreciamos el alcance de la vigilancia ambiental, y menos aún tenemos acceso a sus resultados, los perfiles tan importantes que controlan tantos aspectos de nuestras vidas, o a los ‘hechos’ en los que se basan
(Pasquale, 2015: 14).
Aunque las empresas exponen que sus algoritmos son herramientas científicas y neutrales, es muy difícil verificarlo y sin embargo siguen teniendo un impacto mu importante en nuestra vida. Las democracias capitalistas utilizan cada vez más procesos automatizados para evaluar el riesgo y asignar oportunidades, pero las compañías que controlan estos procesos son algunas de las más grandes, rentables e importantes, y todas usan algoritmos, generalmente secretos, para ordenar la enorme cantidad de información que recolectan.
Determinar el impacto ético potencial y real de un algoritmo es difícil por muchas razones. La identificación de la influencia de la subjetividad humana en el diseño y configuración de algoritmos a menudo requiere la investigación de procesos de desarrollo multiusuario a largo plazo. Incluso con recursos suficientes, los problemas y los valores subyacentes a menudo no serán evidentes hasta que surja un caso de uso problemático (Mitteslstadt, Allo y otros, 2016: 2).
Nos venden la idea de que los procesos algorítmicos son neutrales pero la categorización de la información y el uso que se le da a ella no lo es
No solamente es difícil comprender los procesos mediante los cuales funciona un algoritmo determinado, sino también predecir los posibles usos problemáticos que se le pueda dar, hasta que se presenta un conflicto. Hay diversos ejemplos de “algoritmos discriminatorios”, por lo que algunos autores han propuesto incluir los rastros digitales como una herramienta de desigualdad, pues pueden llevar a resultados beneficiosos o adversos, a corto o largo plazo, individuales y sociales, ya que lo que hay en línea sobre un usuario tiene consecuencias y permite ciertas inferencias de exactitud variable (Micheli, Lutz y Büchi, 2018).
Para Tarleton Gillespie hay seis dimensiones de algoritmos de relevancia pública que tienen valor político:
1.Patrones de inclusión: Las opciones detrás de lo que convierte un resultado en primer lugar y lo que se excluye.
2.Ciclos de anticipación: Las implicaciones de los desarrolladores de un algoritmo para conocer a fondo y predecir a sus usuarios.
3. Evaluación de relevancia: Los criterios por los cuales los algoritmos determinan lo que es relevante, cómo esos criterios están ocultos y aún así promueven elecciones políticas a través de conocimientos apropiados y legítimos.
4. Promesa de objetividad: El carácter técnico de un algoritmo se posiciona como una garantía de imparcialidad.
5. Combinación con la práctica: Los usuarios modifican sus prácticas para adaptarse a los algoritmos de los que dependen.
6. Producción de públicos calculados: La presentación algorítmica de los públicos da forma al sentido de sí mismo y quién es el mejor posicionado para beneficiarse de ese conocimiento (Gillespie, 2014: 168).
Los algoritmos no tienen sentido hasta que se combinan con bases de datos para funcionar. Una investigación de un algoritmo debe siempre considerar estas bases de datos a las que está ligado si pretende comprenderlo, además de considerar que siempre hay posibilidad de error, manipulación, influencias políticas o comerciales o incluso fallas en el sistema.
Los algoritmos no son infalibles y es conveniente verlos como códigos con consecuencias, ya que muchos aspectos de la vida actual están regidos por ellos. Es nuestra responsabilidad asegurarnos de que las decisiones automatizadas no afecten nuestros derechos fundamentales.
Las diversas formas de recolección de información plantean cuestionamientos críticos para los ciudadanos. En la academia se habla del tema por las preocupaciones acerca de la privacidad y la vigilancia, pero también alrededor de los tópicos de la justicia y la desigualdad. El uso de la automatización puede llegar a ser problemático. Hay algunos ejemplos notables como el chatbot de Microsoft, el reconocimiento facial de Google que confundió a una pareja de afroamericanos con gorilas, así como casos de publicidad dirigida en la que ciertas ofertas laborales pueden ser mostradas solamente a personas de cierta raza o género.
La publicidad hiperdirigida y sin regulaciones oficiales
La publicidad utiliza estas bases de datos hiper personalizadas para entregar mensajes directos sin que se puedan revisar por los gobiernos ni otras instancias. Cualquier persona con una cuenta de Facebook o Google y una tarjeta de crédito, puede diseñar los mensajes y dirigirlos para manipular grupos específicos de personas (microtargeting). Esto trae consecuencias similares a los fenómenos que mencionamos anteriormente pero con un mayor potencial de éxito ya que tiene un impulso económico detrás (lo cual permite llegar a un número mayor de gente).
El microtargeting (o el targeting de nicho) es una estrategia de marketing que utiliza una gran variedad de información como datos demográficos, recolectados en las plataformas sociales y las páginas de uso más constante, para identificar los intereses de usuarios específicos o grupos muy focalizados (con ideas afines), para influir en sus pensamientos o acciones.
En el artículo Discrimination through optimization: How Facebook’s ad delivery can lead to skewed outcomes (Ali, M. y otros, s/f) se explora este fenómeno a fondo. La plataforma de anuncios de Facebook (que comparten todos sus demás productos) funciona con la hipersegmentación de sus usuarios, no solo de sus gustos y hábitos sino también de información no visible como los aspectos demográficos, el modelo del móvil desde el que están navegando y otra información sensible como la raza y la afiliación política. En este escenario resulta preocupante que ciertos grupos de usuarios pueden, o quedar excluidos o ser objetivo para recibir determinados anuncios en función de las opciones de segmentación de los anunciantes. Esta preocupación es particularmente aguda en las áreas de crédito, vivienda y empleo marginales.
Por ejemplo, un anunciante puede crear una buena oferta de empleo y solo distribuirla en colonias de nivel socioeconómico medio y alto y otro anunciante puede crear un anuncio para crédito sin aval o de un negocio multinivel (ambas prácticas desleales que abusan de una situación económica vulnerable de la población) en colonias poco privilegiadas, todo esto, protegido bajo la ley. En este sentido también se pueden generar anuncios pagados para crear miedo o manipular opiniones en ciertos sectores de la población.
Estos y muchos otros ejemplos han demostrado cómo los algoritmos pueden volverse problemáticos, lo que genera preguntas éticas sobre la transparencia, la responsabilidad, el sesgo y la discriminación. En particular, los temas de sesgo y discriminación están fuertemente relacionados con la inclusión social y la representación de individuos como sujetos de datos.
A diferencia de lo que predijo Orwell en su libro 1984 , el gran hermano no te está viendo sino que nos está viendo. La mayor parte de l gente es elegida y clasificada como miembro de un grupo específico y no como individuo aislado.
Virginia Eubanks, Automating Inequality (2018)
Lo anterior resulta de la recolección de datos de los contactos, de los usuarios con los que se interactúa, la geolocalización y muchos otros factores es que contribuyen al reconocimiento del usuario como miembro de un grupo social específico. Eubanks menciona que los grupos marginalizados pueden tener una desventaja importante en relación con otros más privilegiados. A medida que estos sistemas de toma de decisiones se vuelven más sofisticados y tienen más alcance (la digitalización de nuestras interacciones cotidianas) se empiezan a revelar como herramientas de control, manipulación y castigo.
Las métricas de las audiencias sirven como herramientas para medir el compromiso y afecto de los usuarios, pero pueden distorsionar lo que parecen medir. Las necesidades de los mercados quieren y necesitan predecir y crear gustos y demandas para que tengan guías para asignar sus limitados recursos.
Nancy K. Baym, en el texto Data not seen, the uses and shortcomings of social media metrics (2013)
Como los marcadores de rentabilidad se han vuelto menos vinculados a la producción y más a la reputación, también cobran importancia para medir las audiencias, a fin de evaluar valores sociales como la legitimidad, la credibilidad, la simpatía y otros tipos de estatus que presumiblemente se pueden convertir en capital económico (Baym, 2013).
No es difícil entender que, en esta situación, las plataformas digitales seguirán repitiendo los esquemas tradicionales de la sociedad: mismos cánones de belleza y representación de ciertos grupos sociales, reforzando las desigualdades tradicionales.
