HCoder.org

Book summary: El enemigo conoce el sistema (II)

This is the second part of my summary for the book “El enemigo conoce el sistema” (“The enemy knows the system”) by Marta Peirano. It’s a Spanish book about power, manipulation, and the internet.

This is only available in Spanish, and is just a dump of all my notes, chapter by chapter. Sorry for the long post! If you prefer a shorter summary, you can read the most important ideas in Spanish and the most important ideas in English.

Adicción

Hay cuatro empresas que producen los olores y sabores de todo lo que compramos. Su objetivo no es el estómago sino el cerebro. Tiendas, cafeterías y otros comercios usan aromas para hacernos comprar más. Su trabajo es engañar a nuestro cerebro a través de los sentidos. Los productos comestibles están optimizados, mediante su nombre, forma, aromas, e ingredientes (cantidades de azúcar y sal) para alcanzar ese punto en el que el consumidor se siente embriagado de dopamina pero nunca satisfecho. Un tercio de la población de EEUU sufre al mismo tiempo obesidad y desnutrición.

Las pocas veces que la industria ha intentado reconducir sus productos hacia algo más saludable, se han dado cuenta de que es más fácil crear una adicción que contrarrestarla. Pero preferimos pensar que no tenemos voluntad y no sabemos comer, a creer que una de las industrias más poderosas del planeta mantiene equipos de genios cuyo único propósito es manipularnos. Lo mismo nos pasa con el móvil e internet.

La tecnología que hace funcionar la red no es neutral. Su objetivo no es tenerte actualizado, ni conectado con tus seres queridos, ni gestionar tu equipo de trabajo. Es maximizar el “engagement”. Esta palabra implica participación. En este caso, con gestos tan sencillos y repetitivos que los hacemos sin pensar, creando una rutina. Cuando estas rutinas son buenas para nosotros, las llamamos hábitos. Cuando son malas, adicción.

La caja de Skinner y refuerzo de intervalo variable. No saber si va a haber premio refuerza la adicción y las ganas de probar, y una vez esa rutina está establecida, se mantiene incluso si en vez de premio hay castigo. Skinner no creía en el libre albedrío, y quería mejorar la vida de las personas creando detonantes oportunos para mejorar sus hábitos. Freud ganó la guerra cultural, pero el mundo post-internet es de Skinner. Notas sobre Skinner y su legado, incluyendo YouTube, en las páginas 24-42.

Cada tecnología o producto tarda menos tiempo en llegar a 50 millones de personas. Lo importante de esto es la velocidad con la que introducen hábitos nuevos en la gente, y la pérdida del interés y la capacidad para identificar los cambios, porque que cada vez tenemos menos tiempo para ello.

La industria no sabe cómo controlar las emociones, pero se ha especializado en detectar, magnificar y producir la que más beneficio genera: indignación, miedo, furia, distracción, soledad, competitividad, envidia. Esta es la banalidad del mal de nuestro tiempo: los mejores cerebros de nuestra generación están buscando maneras de que hagas más likes.

Infraestructuras

Todas las arquitecturas totalitarias son centralizadas. Internet es mucho más centralizada de lo que creemos, y unas pocas compañías son dueñas de una gran parte de la infraestructura física que la soporta.

Vigilancia

Como cualquier narrativa distópica, todo empieza con un buen propósito. Google empezó con dos amigos que querían mejorar el sistema de búsqueda de la biblioteca de informática de Stanford. Después de la segunda guerra mundial el gobierno de los EEUU empezó a colaborar más con la comunidad científica. Querían tener ojos y oídos en todos lados, porque el mundo era una zona de conflicto a vigilar. La nueva tecnología de vigilancia remota tenía que ser capaz de observar todos estos «problemas» como procesos mecánicos predecibles, susceptibles de ser identificados y corregidos a tiempo. Era mejor que bombardear: con una cantidad de datos suficiente, podías arreglar el mundo sin derramar sangre.

Cuando acabó la guerra, toda aquella tecnología fue reciclada como sistema de vigilancia de la frontera con México. Y también para controlar a sus propios insurgentes, los millones de estadounidenses que se manifestaban contra la guerra de Vietnam. Este patrón se repite de manera regular y predecible: toda tecnología desarrollada para luchar contra el terrorismo y por la libertad en otros países acaba formando parte del aparato de vigilancia doméstico.

Google empezó a crear más servicios, y los anuncios que servía ya no dependían sólo de la web que se estaba visitando, sino de todo lo que Google sabía del usuario. Los resultados de las búsquedas también empiezan a depender de esto. Esto fue el origen de lo que se empezó a llamar «economía de la vigilancia» o «feudalismo digital».

Los teléfonos móviles modernos tienen numerosos sensores para la posición y otras fuentes de datos sobre el usuario, que se venden o llegan a muchas empresas. Estas empresas compran y venden datos de una manera absolutamente descontrolada y secreta. Es una oscura industria de servicios que compra la misma clase de acceso que la policía o el FBI, sin orden judicial, registro o licencia.

Como sabían los arquitectos del TCP/IP, todos los debates sobre la bondad o la maldad de las empresas son una distracción. Los directivos cambian o son despedidos o mienten o están sujetos a legislaciones y a gobiernos que cambian o mienten. La única pregunta relevante en el debate es si desarrollan tecnologías capaces de ejercer la censura, coartar las libertades civiles o traicionar la confianza de los usuarios. Si lo hacen, es siempre un problema independientemente de su intención.

Los sistemas de imagen por satélite son parte de un circuito cerrado de vigilancia a nivel planetario en manos de un puñado de empresas que trabajan para distintos gobiernos. Registran todo lo que pasa en la superficie terrestre, incluyendo océanos, producción agrícola y ganadera, extracción de crudo y minerales, infraestructuras, ciudades, fábricas, transportes, refugios, personas. Mucha gente piensa que esos datos se usan principalmente para predecir el tiempo o detectar fuegos e inundaciones. En verdad, lo que hacen las empresas de análisis por satélite es contar: coches en aparcamientos (para informar a los supermercados y centros comerciales de la esperanza de venta), paneles solares instalados, barriles de crudo que circulan en el mercado, toneladas de grano que se van a recoger esta temporada, o cuántas cabezas de ganado tiene cada uno. En el contexto de la crisis climática, la soberanía de las infraestructuras de control y gestión de recursos valiosos como el grano, la ganadería o el agua es tan crucial como la capacidad de trazar el movimiento de las personas.

Algoritmo

Las revoluciones industriales siempre traen con ellas un periodo de expansión y racionalismo tecnocrático, una visión optimista de las capacidades de la tecnología para superar todos los obstáculos y optimizar los recursos con métodos basados en el cálculo exacto de las condiciones y la aplicación de precisas fórmulas matemáticas. Es un cuento de la lechera recurrente: si damos con la fórmula adecuada, podemos erradicar el hambre y las enfermedades, acabar con la maldad, multiplicar los panes y los peces, vivir para siempre… Una de las fantasías de esta forma de ver el mundo es que podremos tomar al fin las decisiones perfectas. La otra, que las implementaciones tecnológicas son intrínsecamente mejores que las que toman los humanos.

Multitud de algoritmos deciden cosas por nosotros (ver ejemplos en las páginas 132-143). Las empresas las usan para calcular los precios más altos que una persona está dispuesta a pagar, según la persona y sus circunstancias. Cuando discriminan ilegalmente a clientes, las empresas simplemente señalan al algoritmo (Mathwashing). Esto permite la discriminación porque es opaco cómo el algoritmo eligió el resultado.

Cuando Amazon acaba con todos los proveedores de una zona no solo se asegura el poder de fijar los precios que le venga en gana, también se asegura el control de la crisis.

Revolución

Historia sobre el software libre, Richard Stallman, Napster, Apple y cómo Steve Jobs consiguió manipular a la industria discográfica para asegurar el éxito de iTunes, movimientos antiglobalización, Tim O’Reilly, la burbuja puntocom, y cómo Tim O’Reilly y otros sobrevivieron después del estallido de la burbuja y se concentraron en usar «la inteligencia colectiva». Esto dio lugar a los blogs, Wikipedia, y a los primeros medios sociales. Todo esto no podía ser gratis, así que AdSense empezó a usarse en muchos sitios para ayudar a pagar los costes de muchos servicios. Pero con esto llegaron los primeros influencers y el optimizar para tener el mayor número de visitas posible, para maximizar el dinero.

Esto dio lugar a The Drudge Report y luego a Huffington Post (¡que empezó Andrew Breitbart!), y a las noticias virales y como consecuencia a las noticias falsas. En este contexto vendrían Buzzfeed y Breitbart News. Pirate Bay, partido pirata y Anonymous.

El modelo de negocio

«Las mejores mentes de mi generación están pensando en cómo hacer que la gente pinche en los banners» dice Jeff Hammerbacher, al que Facebook contrató para descubrir por qué Facebook arrasaba en unas universidades pero no en otras. Y éste fue el inicio del análisis detallado de los usuarios. En la páginas 210 y 211 se explica la historia de las cookies, DoubleClick, cookies de terceros, AdSense, y cómo la publicidad empezó a depender cada vez más de saber todo lo posible sobre los usuarios para poder segmentarlos bien.

Una verdad universal acerca de las personas orientadas a la resolución de problemas técnicos es que pueden estar tan concentradas en la tarea encomendada que no son capaces de valorar el impacto social de sus soluciones hasta que ya es demasiado tarde.

Poco después Facebook cambió su modelo, de tal forma que decidía qué leían los usuarios (al principio era como un conjunto de blogs, y ahora era una sola lista de noticias, no necesariamente cronológica, que Facebook decidía por cada usuario). Después llegaron las API para desarrolladores externos (que podían leer los datos tanto de los usuarios que usaban las aplicaciones, como los de todos sus amigos) y los likes, y con esto una nueva oleada de datos que permitían analizar mejor a los usuarios. Para cuando iban a salir a bolsa habían pasado dos cosas: (1) Facebook ya sabía que sus noticias daban preferencia a comentarios racistas e insultantes; y (2) Facebook quería saber más sobre sus usuarios y los que ni siquiera eran sus usuarios, incluso fuera de Facebook, por lo que firmó contratos con al menos tres «data brokers» para alimentar su algoritmo.

Manipulación

Uno de los errores recurrentes de la izquierda es pensar que el populismo es la estrategia de los imbéciles, cuando la historia demuestra que no puede ser tan imbécil cuando consigue un éxito arrollador. Ya en Los orígenes del totalitarismo, Hannah Arendt explica que este tipo de estrategia está diseñada deliberadamente para desprender a la sociedad educada de sus recursos intelectuales y espirituales, convirtiendo a la población en cínicos o en niños, dependiendo del ego y el aguante de cada uno.

Estudiando los anuncios de la época, Goebbels entendió que la mejor manera de cautivar a las masas no era a través de largos discursos sino con una programación de variedades, ligera y entretenida, interrumpida cada cierto tiempo por intervenciones de Hitler o del propio Goebbels, donde hablaban de la nobleza de la nación alemana y la despreciable naturaleza de judíos, negros y comunistas. «Esto ha sido el resultado de la estricta centralización, la fuerte cobertura y la actualizada naturaleza de la radio alemana». Como Twitter.

La distopía que vivimos hoy ha sido creada de manera casi accidental por un pequeño grupo de empresas para hacernos comprar productos y pinchar en anuncios. Su poder no está basado en la violencia sino en algo mucho más insidioso: nuestra infinita capacidad para la distracción.

El adicto a las tragaperras sabe que es adicto al estado de ensoñación nerviosa que le produce el ritmo de la máquina. No juega para ganar dinero sino para flotar en La Zona, un mundo perfecto, ordenado y predecible. Mientras que el adicto a la secuencia rítmica y fragmentada de las plataformas digitales cree que es adicto a la política, a la actualidad, a las noticias. Cree que está más despierto que nunca.

Incluso las personas que se han dejado manipular con argumentos racistas, clasistas, machistas o directamente fascistas necesitan saben que fueron manipuladas para votar en contra de sus propios intereses. Sobre todo cuando el fenómeno se sigue repitiendo cada vez que se convocan elecciones en cualquier lugar del mundo.

La principal diferencia entre la propaganda y la desinformación es que la primera usa los medios de comunicación de maneras éticamente dudosas para convencer de un mensaje, mientras que la segunda se inventa el propio mensaje, que está diseñado para engañar, asustar, confundir y manipular al objetivo, que termina por abrazar sus dogmas para liberarse del miedo y acabar con la confusión. Se basa en fotos y documentos alterados, datos fabricados y material sacado de contexto para crear una visión distorsionada o alternativa de la realidad. La campaña de desinformación empieza por identificar las gritas preexistentes para alimentarlas y llevarlas al extremo.

Las campañas como INFEKTION (ver páginas 234-236) no están diseñadas para convencer a la gente de que el sida tenía un origen distinto que el chimpancé que contagió al primer humano. Estaba pensada para generar dudas acerca de la categoría moral del Gobierno estadounidense. En 2013 se funda la Internet Research Agency (IRA) en Rusia, que se dedica a publicar comentarios en medios sociales, crear vídeos de noticias falsas con actores, a hacer dibujos satíricos, y demás, aplicando la «doctrina Gerasimov», que consiste en usar estrategias no militares para conseguir objetivos políticos, usando tecnologías de la información para crear «oposición interna». Otra táctica es crear grupos de Facebook e incluso organizar manifestaciones de grupos contrarios, como la vez que organizaron dos manifestaciones contrarias enfrente de una mezquita en Houston. El objetivo era caldear el ambiente, radicalizar a ambas partes, y producir conflicto social.

Antes, nuestro entorno social estaba ligado a la proximidad geográfica, y esto nos obligaba a tratar con personas con las que no estábamos de acuerdo y a buscar consenso. Ver comentarios sobre el sentido de pertenencia y los cambios en las comunidades en las páginas 245-247. Debido a esto, se puede explotar fácilmente nuestro sesgo de confirmación y el efecto del falso consenso. Estos grupos en redes sociales generan un entorno de consenso permanente, aislado del mundo real. En Facebook, las herramientas de segmentación son increíblemente precisas, y permiten tanto encontrar encontrar el público objetivo, como hacer que estos vean cosas que nadie más ve, ofreciendo Facebook así diferentes realidades a diferentes grupos, que a menudo son excluyentes. Y esto bloquea la posibilidad de diálogo porque están viviendo realidades paralelas cuya «verdad» es mutuamente excluyente.

Y esto se hace peor por los algoritmos, que potencian y dan prioridad a las noticias que reciben más clics. Ver la empresa de Macedonia que ayudó en la campaña de Trump sin realmente quererlo, en las páginas 256, 257.

El famoso filtro burbuja no es el atrincheramiento voluntario del usuario contra fuentes de información que contradicen su visión del mundo, es parte de un modelo publicitario que genera una visión del mundo diseñada específica y deliberadamente para cada persona, pero le hace creer que es la realidad. Los que leen noticias en Twitter y Facebook lo hacen como si ambas redes fueran la portada de un periódico en el que salen «todas las noticias que es apropiado imprimir», con un enfoque en los temas que a ellas les interesan. No lo leen como si fuera un contenido diseñado a su medida por empresas de marketing y campañas políticas.

Aquí las clases trabajadoras están en un peligro mayor, y no (sólo) por su nivel de educación, sino por servicios como Free Basics, que hace que la gente no tenga que pagar datos cuando se conecta a ciertos servicios, como Facebook (violando la neutralidad de la red). Esto hace que, a efectos prácticos, Facebook sea «internet» para mucha gente, porque no se puede permitir pagar por hacer clic en cualquier enlace que los lleve fuera del servicio: leen los titulares, pero no pueden permitirse pinchar para leer las noticias enteras.

¿Cómo puede una sociedad moderna enfermar hasta el genocidio? Ver multitud de ejemplos de campañas de manipulación en las páginas 259-265.

Las plataformas digitales son un medio de masas diferente a la radio y la televisión, porque puede elegir a su audiencia. Permite decirle a cada grupo exactamente lo que quiere oír, sin que los demás lo sepan.

Las técnicas de manipulación populista modernas están convergiendo en cuatro pilares conocidos: (1) poner en duda la integridad de las elecciones, (2) deshumanizar a los inmigrantes mediante una campaña de información falsa, (3) repetir la retórica de nosotros contra ellos (manifestada de manera racista, clasista, sexista y violenta en general), (4) destruir las instituciones desde dentro una vez se llegue al poder.

El lenguaje natural para la destrucción del Estado de derecho es el meme, porque permite probar y naturalizar conceptos que habían sido rechazados (como el machismo o la xenofobia) en un contexto sin consecuencias, porque es una broma.

Ahora la nueva tendencia es usar grupos secretos de mensajería instantánea para empezar los rumores, las mentiras y las cadenas de mensajes (fue la «innovación» principal de la campaña de Bolsonaro), en parte porque es mucho más difícil de detectar, estudiar, y contener. Ver páginas 277-290.