Palantir: Más algoritmos, menos democracia

Hace unos meses vino a la argentina el CEO de Palantir y estallaron los portales de noticias hablando sobre Peter Thiel. Pero esta no es una nota más en la que te voy a contar quién es o cuál es la mansión que se compró, sino que voy a aventurarme a descifrar la filosofía que guía a Palantir, al igual que ya hice con Anthropic. Básicamente, voy a descomponer por partes el pensamiento de la empresa, de sus fundadores y del tercer actor clave (sorpresa). 

La empresa 

¿Qué es Palantir? A esta altura, pareciera que se trata solamente de una empresa vinculada con los datos. Esa es mi percepción cuando le pregunto a gente cercana. Además, hace una semana, dando una clase de extensión universitaria sobre IA, uno de mis alumnos me dijo: “Peter Thiel va a tener todos nuestros datos». 

Esta no es una nota más en la que te voy a contar quién es o cuál es la mansión que se compró, sino que voy a aventurarme a descifrar la filosofía que guía a Palantir. 

Vamos de a poco y veamos cómo se presentan ellos. Lamento que vayan a leer un montón de citas sobre lo que hace o no hace esta empresa, pero sus propias palabras son bastante fuertes, miren:

Traducción: “Nuestro software impulsa la toma de decisiones en tiempo real, basadas en inteligencia artificial, en empresas gubernamentales y comerciales claves de Occidente, desde las fábricas hasta el frente de batalla”. Ya aparece un primer punto interesante: ¿Sólo le brindan sus servicios a Occidente? ¿Por qué lo remarcarían? Las respuestas, más adelante.

El sitio también tiene una sección que se llama: Palantir Explained. Ahí ellos mismos aclaran que NO son una empresa de datos, miren: 

Es común que Palantir no se describa a sí misma por la positiva, sino estrictamente por lo que NO es. Y hacen un esfuerzo grande por decirlo:

No somos una empresa de vigilancia. No vendemos datos personales de ningún tipo. No ofrecemos servicios de minería de datos. Palantir es una empresa de software. A diferencia de muchas empresas tecnológicas, nuestro modelo de negocio no se basa en la monetización de datos personales. 

Pero en dicha sección también señalan: 

Creamos infraestructura digital para operaciones y toma de decisiones basadas en datos. Nuestros productos actúan como nexo de unión entre los datos de una organización, sus capacidades analíticas y la ejecución operativa. Las plataformas de Palantir integran estos elementos, proporcionando los datos adecuados a quienes los necesitan, permitiéndoles tomar decisiones basadas en datos, realizar análisis sofisticados y optimizar las operaciones mediante la retroalimentación. 

Ahora bien, por más de que sus datos sean confidenciales: ¿eso quiere decir que su tecnología no se usa para fines poco éticos? Veamos, ellos brindan servicio de datos al gobierno de EE.UU. a través del proyecto Gotham. Declaran lo siguiente: 

Palantir implementará la plataforma Palantir Gotham para brindar soporte a los usuarios de Inteligencia del Ejército en todo el mundo, mediante una plataforma global federada de análisis y datos de inteligencia que abarca múltiples clasificaciones de seguridad. Esta capacidad proporcionará herramientas modernas de integración, correlación, fusión y análisis de datos, preparando al Ejército para la próxima batalla contra amenazas emergentes de similar nivel.

Sin embargo, existen múltiples quejas al respecto del uso de los datos privados para cosas bastante poco éticas. Acá les dejo un gran informe de Amnistía Internacional para que lean después. Pero supongamos que lo que declara la empresa es cierto, ¿qué sucede si los datos se utilizan para matar o perseguir? ¿Qué dice la empresa al respecto de los fines? 

Para contestar esto tienen una sección titulada Palantir Human Rights Policy en la cual reconocen que “sus clientes (gobiernos, instituciones de salud y defensa) operan en esferas complejas donde los derechos humanos pueden estar en tensión” y para ello proponen: 

• Privacidad por diseño: Crean funciones que maximizan la transparencia y la capacidad de auditoría para los oficiales de protección de datos de los clientes. 
• Evaluación proactiva de riesgos: Antes de iniciar un trabajo, evalúan al cliente según la industria y el país. Palantir afirma haber rechazado oportunidades de negocio en el pasado cuando no se sentía cómoda con el trabajo propuesto. 
• Revisión de casos de uso: Evalúan éticamente los nuevos usos de sus productos y capacitan anualmente a todos sus empleados en privacidad y seguridad. 
• Respuesta reactiva: Si se reporta un mal uso del software por parte de un tercero, Palantir explora medidas que incluyen la cooperación con organismos judiciales o incluso la terminación de la relación con el cliente. 

Parecieran ser respuestas no tan precisas y que no responden ninguna de las preguntas realizadas más arriba. Como nos quedamos cortos con estas respuestas, pasemos al siguiente ítem de nuestro caso de estudio. 

Los CEO: Thiel y Karp 

Usted, lector, probablemente esté pensando que ya leyó mucho sobre Thiel, y sabe todo sobre sus aventuras: que fue a jugar ajedrez a Almagro, escuchó hablar sobre su profundo miedo a la muerte (escribí acá sobre esto) y su fanatismo por el transhumanismo. No es mi intención reponer todo lo que anda dando vueltas, sino ir al punto: ¿qué piensan Thiel y Karp, los CEO de Palantir? 

En 2023 la empresa publicó una entrevista que le realizaron a Karp luego de que se hayan mudado de Silicon Valley hacia Denver, y justamente respondió por esta decisión: 

Silicon Valley is very good at exporting societally-harmful products. I am not Jesus, but the end goal of Palantir is to do good — to improve the world. 

Hasta acá, si no fuera un argentino desconfiado, creería que estoy ante probablemente la mejor empresa del mundo al cuidado de los mejores tipos. Pero veamos un poco más. Porque estos dichos se vuelven a repetir en en el famoso manifiesto que reposteó Thiel hace unas semanas. En el primer punto sostienen:

Silicon Valley tiene una deuda moral con el país que hizo posible su ascenso. La élite de la ingeniería de Silicon Valley tiene la obligación positiva de participar en la defensa de la nación. 

Esto es increíble teniendo en cuenta que uno podría pensar que las Big tech no son las más nacionalistas y, a priori, podríamos pensar que Thiel y Karp lo son. 

En The Technological Republic, Karp profundiza en esta cuestión y su preocupación radica en los valores occidentales. En consonancia, se refugia en dos concepciones: culpabilizar a Silicon Valley y recuperar el nacionalismo. Ninguna de las dos preocupaciones son en vano y observa en China una gran forma de avanzar tecnológicamente, esto es, una cooperación de las empresas con el Estado. De lo que pareciera no estar a favor es de los valores orientales, pero no explicita nada al respecto. 

Entonces para Karp es necesario copiar el modelo chino de cooperación privada y estatal pero defender los valores occidentales históricos. 

Pero parece que es más amigo del nacionalismo que de la democracia y sostiene: 

Our adversaries will not pause to indulge in theatrical debates about the merits of developing technologies with critical military and national security applications. They will proceed. 

Traducción: Nuestros adversarios no se detendrán a entablar debates teatrales sobre las ventajas de desarrollar tecnologías con aplicaciones críticas para la seguridad militar y nacional. Seguirán adelante. 

Entonces la preocupación por los debates tecnológicos evidentemente debe ser erradicada y con esto pareciera que se refiere a cuestiones éticas. Entonces tenemos un perfil del tipo: 

Nacionalista sin democracia. 

Tecnócrata sin debate ético. 

Avance bélico sin discusión. 

¿Qué se condice con respecto a lo que predica su empresa? A lo largo de este recorrido aparece una tensión constante. Para Palantir, el principal desafío parece ser actuar rápido frente a amenazas cada vez más complejas. La deliberación aparece como una demora; la discusión ética, como un obstáculo; la democracia, como un mecanismo demasiado lento para los tiempos tecnológicos. Y el tratamiento ético todavía es algo que nos queda sin resolver. 

Por esto, vamos al tercer y último eslabón:

Courtney Bowman

Estoy casi seguro que a este -a diferencia de Thiel, Karp y la empresa Palantir- no lo conocías. Courtney Bowman es físico y Filósofo graduado de Stanford. Quiero permitirme una breve disgregación para advertir que hablé de dos de las empresas más importantes en mis notas (Palantir y Anthropic) y los filósofos pisan fuerte: Karp, Askell, y ahora Bowman. Por lo tanto si usted, lector, despreciaba a la filosofía con justa razón pensando que todo era Platón y chachara griega estaba equivocado y que si está pensando en abrir una empresa de IA por favor me contrate. 

Ahora sí, Bowman escribió una sección sobre ética de la IA en la web de Anthropic. Allí comienza mencionando una dicotomía entre la puesta en práctica de la IA y la reflexión sobre ella. Profundiza de esta forma: 

Como conjunto fragmentado de tecnologías, la IA con demasiada frecuencia no está a la altura de las expectativas (…) mientras se hunde cada vez más en un torbellino crítico caracterizado por un panorama cada vez más problemático de preocupaciones sobre la equidad, la rendición de cuentas y la transparencia de los algoritmos. 

Sostiene, que la IA cayó en un panorama problemático de preocupaciones éticas, de tal modo que, según Bowman, “La ética como teoría proporciona las herramientas para reflexionar sobre cuestiones que, si bien resultan interesantes desde el punto de vista teórico, pueden ser prácticamente inútiles”. 

Esta dicotomía entre el uso y el planteamiento ético articula todo el texto de Bowman y seguir dando ejemplos sería un poco repetitivo, pero agrego algunas preguntas que realiza el autor: 

¿Qué distingue a la IA de otras tecnologías de tal manera que requiera un tratamiento ético específico? ¿Existen preocupaciones más fundamentales que deban abordarse para considerar la IA como una práctica o disciplina, y mucho menos como un ámbito de tratamiento ético formal? ¿De qué sirve articular principios éticos abstractos si no ofrecen una aplicación práctica significativa o directa? 

Lo cierto es que sobre el final menciona que Palantir no se plantea las cuestiones éticas sin estar pensando en la puesta en práctica. 

Pero, por lo visto hasta acá pareciera que la política de Palantir es avanzar sobre el uso de IA para la toma de decisiones con big data y luego preguntarse si eso va en concordancia con lo que ellos creen. En todo caso, la ética como disciplina no se resume en ver qué es lo que más me gusta a mí y actuar en consecuencia. Sino a preguntarse por las acciones correctas sobre el mundo en el que vivimos y actuamos, sobre todo si tenemos a disposición un tipo de tecnología tan poderosa.

Entonces, plantear que la ética plantea principios abstractos puede ser una crítica contra el pensamiento o la reflexión teórica. Pero es falsa si tenemos en cuenta que pensar los problemas que atañan a la IA no son sólo problemas teóricos sino verdaderas preocupaciones del mundo actual. 

Tal vez la cuestión de fondo no sea puntualmente Palantir. Después de todo, ninguna tecnología aparece por generación espontánea. Las tecnologías son síntoma de la época. 

Lo que emerge detrás de Palantir son preguntas mucho más amplias: ¿quién debe decidir sobre el uso de las tecnologías que organizan nuestras sociedades? ¿Los ingenieros que las construyen? ¿Los gobiernos que las compran? ¿Los empresarios que las financian? ¿O las sociedades que vivirán bajo sus consecuencias? 

Porque si los sistemas de inteligencia artificial comienzan a intervenir en la seguridad, la defensa, la salud o la administración de los Estados, entonces la discusión deja de ser técnica y se vuelve inevitablemente política. Y allí quizás aparezca el interrogante central: ¿puede una democracia delegar cada vez más decisiones en sistemas tecnológicos sin debatir públicamente los fines que esos sistemas persiguen? 

Entonces, si bien hicimos un recorrido más que necesario sobre varios de los actores que involucran a Palantir, lo que vimos en el fondo de la cuestión es que esta empresa surge para resolver un problema que ellos mismos plantean: la decadencia de occidente debe resolverse con nuestra tecnología. 

Esto es lo que Meredith Boussard define como Tecnochovinismo: la idea de que la solución a todos los problemas de la humanidad pasa por preguntarle a los computadores. 

Así, quizás la discusión sobre Palantir no sea una discusión sobre una empresa sino sobre una idea del progreso. Una idea según la cual los problemas políticos pueden resolverse mediante mejores sistemas de información; los conflictos sociales mediante más datos; las incertidumbres mediante mejores modelos predictivos. 

Por eso, detrás de cada promesa de automatizar la toma de decisiones reaparece un problema tan antiguo como la filosofía misma: no es qué podemos hacer con la tecnología, sino qué deberíamos hacer con ella. Y esa es una pregunta que ningún algoritmo puede responder por nosotros.