{"id":29509,"date":"2025-05-30T12:21:27","date_gmt":"2025-05-30T19:21:27","guid":{"rendered":"https:\/\/peninsula360press.com\/?p=29509"},"modified":"2025-05-30T12:21:27","modified_gmt":"2025-05-30T19:21:27","slug":"ia-de-alto-riesgo","status":"publish","type":"post","link":"https:\/\/peninsula360press.com\/en\/ia-de-alto-riesgo\/","title":{"rendered":"California afirma que no hay IA de alto riesgo en su gobierno, pese a amplia evidencia de lo contrario"},"content":{"rendered":"
\"A
A pesar de los algoritmos y tecnolog\u00eda utilizada por California, los administradores estatales han concluido que ninguna agencia utiliza IA de alto riesgo.<\/figcaption><\/figure>\n

Por Khari Johnson. CalMatters<\/a>. Peninsula 360 Press. <\/strong>\u00a0<\/strong>\u00a0\u00a0<\/span><\/p>\n

California utiliza algoritmos para predecir si las personas encarceladas volver\u00e1n a delinquir. Ha empleado tecnolog\u00eda predictiva para denegar el subsidio por desempleo a 600 mil personas. Sin embargo, los administradores estatales han concluido que ninguna agencia utiliza tecnolog\u00edas de toma de decisiones automatizadas de alto riesgo.<\/span><\/p>\n

Esto seg\u00fan un informe que el Departamento de Tecnolog\u00eda de California proporcion\u00f3 a CalMatters tras encuestar a casi 200 entidades estatales. La legislaci\u00f3n promulgada en 2023 exige que las agencias informen anualmente si utilizan sistemas automatizados de alto riesgo que puedan tomar decisiones sobre la vida de las personas.\u00a0<\/span><\/p>\n

“Alto riesgo” se refiere a cualquier sistema que pueda asistir o reemplazar a los responsables de la toma de decisiones en casos de contacto con el sistema de justicia penal o en el acceso de las personas a vivienda, educaci\u00f3n, empleo, cr\u00e9dito y atenci\u00f3n m\u00e9dica.<\/span><\/p>\n

El Departamento de Tecnolog\u00eda de California desconoce qu\u00e9 algoritmos utilizan actualmente las agencias estatales y solo reporta lo que estas les indican, seg\u00fan declar\u00f3 a CalMatters el director de tecnolog\u00eda estatal, Jonathan Porat. Al pregunt\u00e1rsele si los algoritmos del departamento de empleo o del departamento de correccionales cumplen los requisitos, Porat respondi\u00f3 que la interpretaci\u00f3n de la ley corresponde a las agencias.<\/span><\/p>\n

“Solo s\u00e9 lo que nos informan, porque incluso si tienen el contrato… no sabemos c\u00f3mo ni si lo est\u00e1n usando, as\u00ed que dependemos de que esos departamentos reporten esa informaci\u00f3n con precisi\u00f3n”, dijo.<\/span><\/p>\n

Las agencias, que deb\u00edan presentar sus respuestas antes de finales de agosto de 2024, informaron sobre los sistemas automatizados de alto riesgo utilizados durante el \u00faltimo a\u00f1o. De haber detectado sistemas de alto riesgo, deb\u00edan informar sobre el tipo de datos personales que estos utilizan para tomar decisiones sobre las personas y las medidas que adoptan para reducir la probabilidad de que dicho uso resulte en discriminaci\u00f3n, sesgo o resultados injustos.<\/span><\/p>\n

Algunos sistemas automatizados utilizados por agencias estatales plantean dudas sobre c\u00f3mo se define el riesgo. El Departamento de Correccionales y Rehabilitaci\u00f3n de California, por ejemplo, asigna puntuaciones de reincidencia a la gran mayor\u00eda de los reclusos para determinar sus necesidades al ingresar y salir de prisi\u00f3n.\u00a0<\/span><\/p>\n

COMPAS, un algoritmo que utiliza, tiene un historial documentado de sesgo racial, pero el departamento de correccionales inform\u00f3 al Departamento de Tecnolog\u00eda que no utiliza automatizaci\u00f3n de alto riesgo.<\/span><\/p>\n

El Departamento de Desarrollo del Empleo de California tambi\u00e9n report\u00f3 la falta de uso de sistemas automatizados de alto riesgo. Entre las fiestas de Navidad y A\u00f1o Nuevo de 2020, el departamento suspendi\u00f3 las prestaciones por desempleo de 1.1 millones de personas despu\u00e9s de que la agencia utilizara herramientas de inteligencia artificial de Thomson Reuters para calificar a los solicitantes de desempleo como fraudulentos.\u00a0<\/span><\/p>\n

Unas 600 mil de esas solicitudes fueron posteriormente confirmadas como leg\u00edtimas, seg\u00fan un an\u00e1lisis estatal.<\/span><\/p>\n

El Departamento de Empleo se niega a decir si ese algoritmo est\u00e1 en uso hoy en d\u00eda, y proporciona una declaraci\u00f3n escrita de que sus procesos de detecci\u00f3n de fraude son confidenciales “para garantizar que no proporcionamos a los delincuentes informaci\u00f3n que pueda contribuir a la actividad delictiva”.<\/span><\/p>\n

“Aqu\u00ed est\u00e1n hablando con ambos lados de la boca”<\/span><\/p>\n

El informe tambi\u00e9n parece estar desincronizado con un tr\u00edo de an\u00e1lisis realizados el a\u00f1o pasado por el personal de la Legislatura de California, que indicaban que el estado tendr\u00eda que gastar cientos de millones de d\u00f3lares o m\u00e1s cada a\u00f1o para monitorear el uso de algoritmos de alto riesgo por parte del gobierno.<\/span><\/p>\n

El a\u00f1o pasado, la asamble\u00edsta Rebecca Bauer-Kahan propuso un proyecto de ley que habr\u00eda requerido que las agencias estatales realizaran evaluaciones de riesgos de algoritmos que pueden tomar una “decisi\u00f3n consecuente” sobre la vida de las personas, muy similares a los tipos de algoritmos del nuevo informe del Departamento de Tecnolog\u00eda.<\/span><\/p>\n

Tres an\u00e1lisis legislativos diferentes de su concepto realizados por el personal del comit\u00e9 de asignaciones concluyeron que ser\u00eda un esfuerzo costoso, que costar\u00eda cientos de millones de d\u00f3lares al a\u00f1o, con costos constantes de miles de millones de d\u00f3lares.<\/span><\/p>\n

Si no hay sistemas automatizados de alto riesgo en el gobierno de California, \u00bfc\u00f3mo puede costar millones o miles de millones de d\u00f3lares evaluarlos?<\/span><\/p>\n

Eso es lo que se preguntaba una fuente familiarizada con los an\u00e1lisis. Esta persona, que solicit\u00f3 el anonimato por temor a posibles consecuencias profesionales, afirm\u00f3 que no ven mucha diferencia entre la definici\u00f3n de sistema automatizado de alto riesgo en el informe del Departamento de Tecnolog\u00eda y la decisi\u00f3n consecuente en el proyecto de ley Bauer-Kahan. Creen que alguien miente.<\/span><\/p>\n

“Es imposible que ambas cosas sean ciertas”, dijeron. “Est\u00e1n hablando por hablar”.<\/span><\/p>\n

Los autores de los an\u00e1lisis legislativos no respondieron a m\u00faltiples solicitudes de comentarios. Porat, del departamento de tecnolog\u00eda, tambi\u00e9n se mostr\u00f3 desconcertado. “No puedo explicarlo del todo”, declar\u00f3 a CalMatters. “Es posible que un departamento o agencia, en colaboraci\u00f3n con alg\u00fan grupo o incluso dentro del estado, est\u00e9 considerando algo para el futuro que no se ajusta a la definici\u00f3n establecida en los requisitos del a\u00f1o pasado”.<\/span><\/p>\n

La legislaci\u00f3n que exig\u00eda los informes de automatizaci\u00f3n de alto riesgo menciona espec\u00edficamente los sistemas que generan puntuaciones. Dada la omnipresencia de las herramientas que asignan puntuaciones de riesgo, el resultado del inventario del Departamento de Tecnolog\u00eda es sorprendente, afirm\u00f3 Deirdre Mulligan, directora del Centro de Derecho y Tecnolog\u00eda de UC Berkeley, quien colabor\u00f3 \u200b\u200ben el desarrollo de la pol\u00edtica de IA para la administraci\u00f3n Biden.<\/span><\/p>\n

Mulligan afirm\u00f3 que es fundamental que el gobierno establezca normas para garantizar que la automatizaci\u00f3n no prive a las personas de sus derechos. Coincide en que los an\u00e1lisis que predicen costos de pruebas potencialmente millonarios podr\u00edan indicar planes futuros para usar la automatizaci\u00f3n de alto riesgo por parte de las agencias estatales, lo que convierte este momento en el momento oportuno para garantizar la implementaci\u00f3n de dichas protecciones.<\/span><\/p>\n

Samantha Gordon, directora de programas del grupo de defensa TechEquity, que ha pedido m\u00e1s transparencia en torno a c\u00f3mo California utiliza la IA, dijo que las agencias estatales deben ampliar su definici\u00f3n de sistemas de alto riesgo si no incluye algoritmos como el que utiliz\u00f3 el EDD en 2020, que puede negar a las personas los beneficios de desempleo y poner en peligro su capacidad de mantener un techo sobre sus cabezas, alimentar a su familia o pagar el cuidado infantil.<\/span><\/p>\n

“Creo que si le preguntaras a un californiano com\u00fan y corriente si perder su subsidio de desempleo en Navidad, cuando no tiene trabajo, supone un riesgo real para su sustento, apuesto a que dir\u00eda que s\u00ed”, afirm\u00f3.<\/span><\/p>\n

IA generativa de alto riesgo en el futuro del estado<\/span><\/p>\n

El informe sobre la toma de decisiones automatizada de alto riesgo llega en un momento en que las agencias estatales est\u00e1n implementando diversas aplicaciones de IA potencialmente riesgosas. En las \u00faltimas semanas, el gobernador Gavin Newsom anunci\u00f3 que las agencias estatales est\u00e1n adoptando herramientas de IA para, por ejemplo, comunicarse con los californianos sobre los incendios forestales, gestionar la seguridad vial, acelerar el proceso de reconstrucci\u00f3n tras los incendios forestales en Los \u00c1ngeles e informar a los empleados estatales que ayudan a las empresas a presentar sus impuestos.<\/span><\/p>\n

Los legisladores desean monitorear este tipo de sistemas, en parte, debido a la posibilidad de que cometan errores. Un informe estatal de 2023 sobre los riesgos y las oportunidades para la adopci\u00f3n gubernamental de la IA generativa advierte que esta puede producir resultados convincentes pero inexactos, ofrecer respuestas diferentes a la misma pregunta y sufrir un colapso del modelo cuando las predicciones difieren de los resultados precisos.\u00a0<\/span><\/p>\n

La IA generativa tambi\u00e9n conlleva el riesgo de sesgo de automatizaci\u00f3n, cuando las personas se vuelven excesivamente confiadas y dependientes de la toma de decisiones automatizada, seg\u00fan el informe.<\/span><\/p>\n

A finales de 2023, Newsom orden\u00f3 al Departamento de Tecnolog\u00eda que elaborara un informe diferente: un inventario del uso de alto riesgo de la IA generativa por parte de las agencias estatales del poder ejecutivo. CalMatters solicit\u00f3 una copia de dicho documento, pero el Departamento de Tecnolog\u00eda se neg\u00f3 a compartirlo; el director de Seguridad de la Informaci\u00f3n, Vitaliy Panych, lo calific\u00f3 como un riesgo innecesario para la seguridad.<\/span><\/p>\n

El hecho de que la IA merezca una etiqueta de alto riesgo es un debate continuo y forma parte del marco legal emergente en las naciones democr\u00e1ticas de todo el mundo. La tecnolog\u00eda que se merece esa etiqueta suele estar sujeta a m\u00e1s pruebas antes de su implementaci\u00f3n y a un seguimiento continuo.\u00a0<\/span><\/p>\n

En la Uni\u00f3n Europea, por ejemplo, la Ley de IA clasifica como de alto riesgo los modelos utilizados en operaciones de infraestructura cr\u00edtica, as\u00ed como aquellos que deciden el acceso a la educaci\u00f3n, el empleo y las prestaciones p\u00fablicas. De igual manera, la Carta de Derechos de la IA, elaborada durante la administraci\u00f3n Biden, defini\u00f3 como de alto riesgo la IA que puede tomar decisiones sobre el empleo, la atenci\u00f3n m\u00e9dica y la vivienda.<\/span><\/p>\n

La Legislatura de California est\u00e1 considerando decenas de proyectos de ley para regular la IA en los pr\u00f3ximos meses, si el Congreso no impone una moratoria a la regulaci\u00f3n estatal de la IA durante una d\u00e9cada. Un informe encargado por el gobernador sobre c\u00f3mo equilibrar la innovaci\u00f3n y las barreras para la IA se publicar\u00e1 este verano.<\/span><\/p>\n

La ley que exige el informe sobre sistemas automatizados de alto riesgo tiene algunas excepciones notables, como todo el sistema judicial estatal y organismos de licencias como el Colegio de Abogados de California, que desat\u00f3 la controversia el mes pasado tras utilizar IA para redactar las preguntas de su examen de alto riesgo.\u00a0<\/span><\/p>\n

La ley tampoco exige su cumplimiento a los gobiernos locales, que suelen utilizar la IA en entornos de justicia penal o policial, ni a los distritos escolares, donde los profesores utilizan la IA para calificar trabajos. El mercado de servicios de salud Covered California, que seg\u00fan The Markup comparte informaci\u00f3n personal de californianos con LinkedIn, tambi\u00e9n utiliza IA generativa, pero esta entidad no est\u00e1 obligada a informar al Departamento de Tecnolog\u00eda.<\/span><\/p>\n

You may be interested in:<\/strong> Apolog\u00eda de la violencia; el concepto m\u00e1gico detr\u00e1s del rechazo a los videojuegos<\/a><\/span><\/em><\/p>","protected":false},"excerpt":{"rendered":"

Por Khari Johnson. CalMatters. Pen\u00ednsula 360 Press. \u00a0\u00a0\u00a0 California utiliza algoritmos para predecir si las personas encarceladas volver\u00e1n a delinquir. Ha empleado tecnolog\u00eda predictiva para denegar el subsidio por desempleo a 600 mil personas. Sin embargo, los administradores estatales han concluido que ninguna agencia utiliza tecnolog\u00edas de toma de decisiones automatizadas de alto riesgo. Esto […]<\/p>","protected":false},"author":4,"featured_media":29510,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[4],"tags":[],"class_list":{"0":"post-29509","1":"post","2":"type-post","3":"status-publish","4":"format-standard","5":"has-post-thumbnail","7":"category-technology"},"_links":{"self":[{"href":"https:\/\/peninsula360press.com\/en\/wp-json\/wp\/v2\/posts\/29509","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/peninsula360press.com\/en\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/peninsula360press.com\/en\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/peninsula360press.com\/en\/wp-json\/wp\/v2\/users\/4"}],"replies":[{"embeddable":true,"href":"https:\/\/peninsula360press.com\/en\/wp-json\/wp\/v2\/comments?post=29509"}],"version-history":[{"count":1,"href":"https:\/\/peninsula360press.com\/en\/wp-json\/wp\/v2\/posts\/29509\/revisions"}],"predecessor-version":[{"id":29511,"href":"https:\/\/peninsula360press.com\/en\/wp-json\/wp\/v2\/posts\/29509\/revisions\/29511"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/peninsula360press.com\/en\/wp-json\/wp\/v2\/media\/29510"}],"wp:attachment":[{"href":"https:\/\/peninsula360press.com\/en\/wp-json\/wp\/v2\/media?parent=29509"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/peninsula360press.com\/en\/wp-json\/wp\/v2\/categories?post=29509"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/peninsula360press.com\/en\/wp-json\/wp\/v2\/tags?post=29509"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}