inoticia

PITTSBURGH (AP) — Durante las dos semanas que la bebé de los Hackney permaneció en una cama de hospital de Pittsburgh débil por la deshidratación, sus padres rara vez se apartaron de su lado, a veces durmiendo en el sofá plegable de la habitación.

Se quedaron con su hija todo el día cuando la trasladaron a un centro de rehabilitación para recuperar su fuerza. Finalmente, la niña de 8 meses dejó de batir sus biberones y comenzó a ganar peso nuevamente.

“Le estaba yendo bien y comenzamos a preguntar cuándo puede irse a casa”, dijo Lauren Hackney. “Y luego, a partir de ese momento, en ese momento, nos bloquearon por completo y nunca dijeron nada”.

La pareja quedó atónita cuando aparecieron los funcionarios de bienestar infantil, les dijeron que habían sido negligentes y se llevaron a su hija.

“Tenían documentos de custodia y se la llevaron allí mismo”, recordó Lauren Hackney. “Y empezamos a llorar”.

Más de un año después, su hija, que ahora tiene 2 años, permanece en hogares de guarda. Los Hackney, que tienen discapacidades del desarrollo, luchan por comprender cómo llevar a su hija al hospital cuando se negaba a comer podría considerarse tan negligente que tendrían que sacarla de su casa.

Se preguntan si una herramienta de inteligencia artificial que utiliza el Departamento de Servicios Humanos del condado de Allegheny para predecir qué niños podrían estar en riesgo de daño los seleccionó debido a sus discapacidades.

El Departamento de Justicia de los Estados Unidos está haciendo la misma pregunta. La agencia está investigando el sistema de bienestar infantil del condado para determinar si el uso del influyente algoritmo discrimina a las personas con discapacidades u otros grupos protegidos, según supo The Associated Press. A fines de este mes, los abogados federales de derechos civiles entrevistarán a los Hackney y a la madre de Andrew Hackney, Cynde Hackney-Fierro, dijo la abuela.

Lauren Hackney tiene un trastorno por déficit de atención con hiperactividad que afecta su memoria, y su esposo, Andrew, tiene un trastorno de comprensión y daño en los nervios debido a un derrame cerebral que sufrió cuando tenía 20 años. Su bebé tenía solo 7 meses cuando comenzó a negarse a beber sus biberones. Ante la escasez de fórmula en todo el país, viajaron de Pensilvania a Virginia Occidental en busca de fórmula y se vieron obligados a cambiar de marca. Al bebé no parecía gustarle.

Su pediatra primero les aseguró que los bebés a veces pueden ser inconstantes al alimentarse y les ofreció ideas para ayudarla a recuperar el apetito, dijeron.

Cuando se volvió letárgica días después, dijeron, el mismo médico les dijo que la llevaran a la sala de emergencias. Los Hackney creen que el personal médico alertó a los servicios de protección infantil después de que aparecieran con un bebé deshidratado y desnutrido.

Fue entonces cuando creen que su información se introdujo en la Herramienta de evaluación familiar de Allegheny, que según los funcionarios del condado es un procedimiento estándar para las acusaciones de negligencia. Pronto, un trabajador social apareció para interrogarlos y enviaron a su hija a un hogar de crianza.

Durante los últimos seis años, el condado de Allegheny ha servido como un laboratorio del mundo real para probar herramientas de bienestar infantil impulsadas por IA que analizan una gran cantidad de datos sobre familias locales para tratar de predecir qué niños probablemente enfrentarán peligro en sus hogares. Hoy, las agencias de bienestar infantil en al menos 26 estados y Washington, DC, han considerado el uso de herramientas algorítmicas, y las jurisdicciones en al menos 11 las han implementado, según la Unión Estadounidense de Libertades Civiles.

La historia de los Hackney, basada en entrevistas, correos electrónicos internos y documentos legales, ilustra la opacidad que rodea a estos algoritmos. Incluso mientras luchan por recuperar la custodia de su hija, no pueden cuestionar la “puntuación de riesgo” que la herramienta del condado de Allegheny pudo haber asignado a su caso porque los funcionarios no se la revelarán. Y ni el condado ni las personas que construyeron la herramienta han explicado nunca qué variables se pueden haber utilizado para medir las habilidades de los Hackney como padres.

“Es como si tuvieras un problema con alguien que tiene una discapacidad”, dijo Andrew Hackney en una entrevista desde su apartamento en los suburbios de Pittsburgh. “En ese caso… probablemente termines persiguiendo a todos los que tienen hijos y tienen una discapacidad”.

Como parte de una investigación de un año, AP obtuvo los puntos de datos que respaldan varios algoritmos implementados por agencias de bienestar infantil, incluidos algunos marcados como “CONFIDENCIAL”, que ofrecen una visión poco común de la mecánica que impulsa estas tecnologías emergentes. Entre los factores que han utilizado para calcular el riesgo de una familia, ya sea directamente o por representación: la raza, las tasas de pobreza, el estado de discapacidad y el tamaño de la familia. Incluyen si una madre fumaba antes de quedar embarazada y si una familia tenía quejas previas de abuso o negligencia infantil.

Lo que miden importa. Un análisis reciente realizado por investigadores de la ACLU encontró que cuando el algoritmo de Allegheny marcaba a las personas que accedían a los servicios del condado para la salud mental y otros programas de salud del comportamiento, eso podía sumar hasta tres puntos en la puntuación de riesgo de un niño, un aumento significativo en una escala de 20.

El portavoz del condado de Allegheny, Mark Bertolet, se negó a abordar el caso de Hackney y no respondió preguntas detalladas sobre el estado de la investigación federal o las críticas a los datos que alimentan la herramienta, incluso por parte de la ACLU.

“Como cuestión de política, no comentamos sobre demandas o asuntos legales”, dijo Bertolet en un correo electrónico.

La portavoz del Departamento de Justicia, Aryele Bradford, se negó a comentar.

NO MAGIA

Los algoritmos de bienestar infantil conectan grandes cantidades de datos públicos sobre familias locales en modelos estadísticos complejos para calcular lo que llaman una puntuación de riesgo. El número que se genera luego se utiliza para asesorar a los trabajadores sociales a medida que deciden qué familias deben investigarse o qué familias necesitan atención adicional, una decisión importante que a veces puede significar la vida o la muerte.

Varios líderes locales han aprovechado la tecnología de inteligencia artificial mientras estaban bajo presión para realizar cambios sistémicos, como en Oregón durante una crisis de cuidado de crianza y en el condado de Los Ángeles después de una serie de muertes de niños de alto perfil en uno de los condados de bienestar infantil más grandes del país. sistemas

El director del Departamento de Servicios para Niños y Familias del Condado de Los Ángeles, Brandon Nichols, dice que los algoritmos pueden ayudar a identificar familias de alto riesgo y mejorar los resultados en un sistema profundamente tenso. Sin embargo, no pudo explicar cómo funciona la herramienta de detección que utiliza su agencia.

“Somos una especie del lado del trabajo social de la casa, no del lado de TI de la casa”, dijo Nichols en una entrevista. “La forma en que funciona el algoritmo, de alguna manera, no quiero decir que sea mágica para nosotros, pero está más allá de nuestra pericia y experiencia”.

Nichols y los funcionarios de otras dos agencias de bienestar infantil remitieron preguntas detalladas sobre sus herramientas de IA a los desarrolladores externos que las crearon.

En el condado de Larimer, Colorado, una funcionaria reconoció que no sabía qué variables se usaban para evaluar a las familias locales.

“Las variables y los pesos utilizados por Larimer Decision Aide Tool son parte del código desarrollado por Auckland y, por lo tanto, no tenemos este nivel de detalle”, dijo Jill Maasch, portavoz de Servicios Humanos del condado de Larimer en un correo electrónico, refiriéndose a los desarrolladores. .

En Pensilvania, California y Colorado, los funcionarios del condado han abierto sus sistemas de datos a los dos desarrolladores académicos que seleccionan puntos de datos para construir sus algoritmos. Rhema Vaithianathan, profesora de economía de la salud en la Universidad Tecnológica de Auckland de Nueva Zelanda, y Emily Putnam-Hornstein, profesora de la Escuela de Trabajo Social de Chapel Hill en la Universidad de Carolina del Norte, dijeron en un correo electrónico que su trabajo es transparente y que hacer públicos sus modelos informáticos.

“En cada jurisdicción en la que se ha implementado completamente un modelo, hemos publicado una descripción de los campos que se utilizaron para construir la herramienta, junto con información sobre los métodos utilizados”, dijeron por correo electrónico.

Un informe de 241 páginas en el sitio web del condado de Allegheny incluye páginas de variables codificadas y cálculos estadísticos.

El trabajo de Vaithianathan y Putnam-Hornstein ha sido aclamado en informes publicados tanto por UNICEF como por la administración de Biden por diseñar modelos informáticos que prometen aligerar la carga de los trabajadores sociales basándose en un conjunto de factores simples. Han descrito el uso de tales herramientas como un imperativo moral, insistiendo en que los funcionarios de bienestar infantil deben aprovechar todos los datos a su disposición para asegurarse de que los niños no sean maltratados.

Sin embargo, mediante el seguimiento de su trabajo en todo el país, AP descubrió que sus herramientas pueden preparar a las familias para la separación al calificar su riesgo según las características personales que no pueden cambiar o controlar, como la raza o la discapacidad, en lugar de solo sus acciones como padres.

En el condado de Allegheny, un condado en expansión de 1,2 millones cerca de la frontera con Ohio, el algoritmo ha accedido a una serie de datos externos, incluidos la cárcel, la libertad condicional juvenil, Medicaid, el bienestar, la salud y los registros de nacimiento, todos guardados en un vasto “almacén de datos” en todo el condado. ” La herramienta utiliza esa información para predecir el riesgo de que un niño sea colocado en un hogar de crianza dos años después de que se investigue a la familia por primera vez.

Los funcionarios del condado le dijeron a AP que están orgullosos de su enfoque de vanguardia e incluso ampliaron su trabajo para construir otro algoritmo centrado en los recién nacidos. Han dicho que monitorean de cerca su herramienta de calificación de riesgo y la actualizan con el tiempo, incluida la eliminación de variables como los beneficios de asistencia social y los registros de nacimiento.

Vaithianathan y Putnam-Hornstein rechazaron las repetidas solicitudes de entrevistas de AP para discutir cómo eligen los datos específicos que alimentan sus modelos. Pero en un informe de 2017, detallaron los métodos utilizados para construir la primera versión de la herramienta de Allegheny, incluida una nota al pie que describía un límite estadístico como “bastante arbitrario pero basado en prueba y error”.

“Esta nota al pie se refiere a nuestra exploración de más de 800 funciones del almacén de datos de Allegheny hace más de cinco años”, dijeron los desarrolladores por correo electrónico.

Ese enfoque se confirma en sus elecciones de diseño, que difieren de un condado a otro.

En el mismo informe de 2017, los desarrolladores reconocieron que el uso de datos de carrera no mejoró sustancialmente la precisión del modelo, pero continuaron estudiándolo en el condado de Douglas, Colorado, aunque finalmente optaron por no incluirlo en ese modelo. Para abordar las preocupaciones de la comunidad de que una herramienta podría endurecer los prejuicios raciales en el condado de Los Ángeles, los desarrolladores excluyeron los antecedentes penales, el código postal y los indicadores geográficos de las personas, pero continuaron usando esos puntos de datos en el área de Pittsburgh.

Cuando se les preguntó acerca de las inconsistencias, los desarrolladores señalaron sus documentos de metodología publicados.

“Detallamos varias métricas utilizadas para evaluar la precisión, al mismo tiempo que detallamos ‘validaciones externas'”, dijeron los desarrolladores por correo electrónico.

Cuando el Departamento de Servicios Humanos de Oregón creó un algoritmo inspirado en el de Allegheny, tuvo en cuenta la raza de un niño al predecir el riesgo de una familia y también aplicó una “corrección de equidad” para mitigar el sesgo racial. En junio pasado, la herramienta se eliminó por completo. debido a preocupaciones de equidad después de que una investigación de AP en abril reveló un posible sesgo racial en tales herramientas.

Los abogados del Departamento de Justicia citaron la misma historia de AP el otoño pasado, cuando los abogados federales de derechos civiles comenzaron a preguntar sobre preocupaciones adicionales de discriminación en la herramienta de Allegheny, dijeron tres fuentes a la AP. Hablaron bajo condición de anonimato y dijeron que el Departamento de Justicia les pidió que no hablaran sobre las conversaciones confidenciales. Dos dijeron que también temían represalias profesionales.

PRUEBAS DE CI, CLASE PARA PADRES

Sin respuestas sobre cuándo podrían llevar a su hija a casa, el abogado de los Hackney presentó en octubre una denuncia federal de derechos civiles en su nombre que cuestionaba cómo se utilizó la herramienta de detección en su caso.

Con el tiempo, la herramienta de Allegheny ha rastreado si los miembros de la familia tienen diagnósticos de esquizofrenia o trastornos del estado de ánimo. También se mide si los padres u otros niños en el hogar tienen discapacidades, anotando si algún miembro de la familia recibió Seguridad de Ingreso Suplementario, un beneficio federal para personas con discapacidades. El condado dijo que tiene en cuenta los pagos de SSI en parte porque los niños con discapacidades tienen más probabilidades de sufrir abuso o negligencia.

El condado también dijo que los datos alineados con las discapacidades pueden ser “predictivos de los resultados” y “no debería ser una sorpresa”. que los padres con discapacidades… también pueden necesitar apoyos y servicios adicionales”. En una declaración enviada por correo electrónico, el condado agregó que en otras partes del país, los trabajadores sociales también se basan en datos sobre salud mental y otras condiciones que pueden afectar la capacidad de los padres para cuidar a un niño de manera segura.

A los Hackney se les ha ordenado que tomen clases para padres y dicen que han sido gravados por todas las demandas del sistema de bienestar infantil, incluidas las pruebas de coeficiente intelectual y las audiencias en los tribunales del centro.

Las personas con discapacidades están sobrerrepresentadas en el sistema de bienestar infantil, pero no hay evidencia de que dañen a sus hijos en tasas más altas, dijo Traci LaLiberte, experta en bienestar infantil y discapacidades de la Universidad de Minnesota.

Incluir puntos de datos relacionados con discapacidades en un algoritmo es problemático porque perpetúa los sesgos históricos en el sistema y se enfoca en los rasgos fisiológicos de las personas en lugar del comportamiento que los trabajadores sociales deben abordar, dijo LaLiberte.

La herramienta de Los Ángeles evalúa si algún niño de la familia ha recibido alguna vez servicios de educación especial, ha tenido referencias previas de salud mental o del desarrollo o si ha usado drogas para tratar la salud mental.

“Esto no es exclusivo de los trabajadores sociales que usan esta herramienta; es común que los trabajadores sociales consideren estos factores al determinar posibles apoyos y servicios”, dijeron los desarrolladores por correo electrónico.

Antes de que se usaran los algoritmos, el sistema de bienestar infantil había desconfiado durante mucho tiempo de los padres con discapacidades. En la década de 1970, fueron esterilizados e institucionalizados regularmente, dijo LaLiberte. Un histórico informe federal de 2012 señaló que los padres con discapacidades psiquiátricas o intelectuales perdieron la custodia de sus hijos hasta en un 80 por ciento de las veces.

En los EE. UU., es extremadamente raro que las agencias de bienestar infantil requieran capacitación sobre discapacidades para los trabajadores sociales, según descubrió la investigación de LaLiberte. El resultado: los padres con discapacidades a menudo son juzgados por un sistema que no entiende cómo evaluar su capacidad como cuidadores, dijo.

Los Hackney experimentaron esto de primera mano. Cuando un trabajador social le preguntó a Andrew Hackney con qué frecuencia alimentaba al bebé, respondió literalmente: dos veces al día. El trabajador parecía horrorizado, dijo, y lo regañó, diciendo que los bebés deben comer con más frecuencia. Luchó por explicar que la madre, la abuela y la tía de la niña también se turnaban para alimentarla todos los días.

SIEMPRE MARCADO

Los funcionarios del condado de Allegheny han dicho que incorporar IA en sus procesos les ayuda a “tomar decisiones basadas en la mayor cantidad de información posible”, y señalaron que el algoritmo simplemente aprovecha los datos a los que los trabajadores sociales ya pueden acceder.

Eso puede incluir registros de décadas de antigüedad. La herramienta del área de Pittsburgh ha rastreado si los padres alguna vez recibieron beneficios públicos o si tenían antecedentes en el sistema de justicia penal, incluso si eran menores de edad en ese momento, o si nunca resultó en cargos o condenas.

La AP descubrió que esas opciones de diseño pueden perjudicar a las personas que crecieron en la pobreza, endureciendo las desigualdades históricas que persisten en los datos, o contra las personas con antecedentes en los sistemas de justicia penal o juvenil, mucho después de que la sociedad les haya concedido la redención. Y los críticos dicen que los algoritmos pueden crear una profecía autocumplida al influir en qué familias son el objetivo en primer lugar.

“Estos predictores tienen el efecto de generar sospechas permanentes y no ofrecen medios de recurso para las familias marcadas por estos indicadores”, según el análisis de los investigadores de la ACLU y el Grupo de Análisis de Datos de Derechos Humanos sin fines de lucro. “Siempre son vistos como más riesgosos para sus hijos”.

A medida que los algoritmos de bienestar infantil se vuelven más comunes, los padres que han experimentado el escrutinio de los trabajadores sociales temen que los modelos no les permitan escapar de su pasado, sin importar cuán antiguos o irrelevantes hayan sido sus problemas con el sistema.

Charity Chandler-Cole, que trabaja en la Comisión para Niños y Familias del Condado de Los Ángeles, es una de ellas. Aterrizó en un hogar de crianza cuando era adolescente después de ser arrestada por robar ropa interior para su hermana menor. Luego, como adulta, dijo, una vez los trabajadores sociales se presentaron en su apartamento después de que alguien informara falsamente que le arrojaron un piano de cola a su sobrino que vivía en su casa, a pesar de que no tenían ese instrumento.

El algoritmo local podría etiquetarla por sus experiencias previas en cuidado de crianza y libertad condicional juvenil, así como por la acusación infundada de abuso infantil, dice Chandler-Cole. Se pregunta si AI también podría evaluar adecuadamente que fue absuelta rápidamente de cualquier preocupación por maltrato, o que su delito no violento cuando era adolescente fue borrado legalmente.

“Muchos de estos informes carecen de sentido común”, dijo Chandler-Cole, ahora madre de cuatro hijos y directora ejecutiva de una organización que trabaja con el sistema judicial para ayudar a los niños en hogares de guarda. “Automáticamente nos estás poniendo en estos espacios para ser juzgados con estas etiquetas. Simplemente perpetúa el daño adicional”.

La comisionada colega de Chandler-Cole, Wendy Garen, por el contrario, argumenta que “más es mejor” y que al basarse en todos los datos disponibles, las herramientas de calificación de riesgos pueden ayudar a que el trabajo de la agencia sea más completo y efectivo.

INFLUENCIA MUNDIAL

A pesar de que sus modelos han sido objeto de escrutinio por su precisión y equidad, los desarrolladores han iniciado nuevos proyectos con agencias de bienestar infantil en el condado de Northampton, Pensilvania, y el condado de Arapahoe, Colorado. Los estados de California y Pensilvania, así como Nueva Zelanda y Chile, también les han pedido que hagan un trabajo preliminar.

Y como se ha difundido la noticia de sus métodos en los últimos años, Vaithianathan ha dado conferencias destacando las herramientas de detección en Colombia y Australia. Recientemente, también asesoró a investigadores en Dinamarca y funcionarios en los Emiratos Árabes Unidos sobre cómo usar la tecnología para orientar los servicios infantiles.

“Rhema es una de las líderes mundiales y su investigación puede ayudar a dar forma al debate en Dinamarca”, dijo un investigador danés en LinkedIn el año pasado, con respecto al papel de asesor de Vaithianathan relacionado con una herramienta local de bienestar infantil que se estaba poniendo a prueba.

El año pasado, el Departamento de Salud y Servicios Humanos de EE. UU. financió un estudio nacional, en coautoría de Vaithianathan y Putnam-Hornstein, que concluyó que su enfoque general en Allegheny podría ser un modelo para otros lugares.

La portavoz de la Administración para Niños y Familias del HHS, Debra Johnson, se negó a decir si la investigación del Departamento de Justicia influiría en el apoyo futuro de su agencia a un enfoque impulsado por la IA para el bienestar infantil.

Especialmente a medida que los presupuestos se ajustan, las agencias con problemas de efectivo están desesperadas por encontrar formas más eficientes para que los trabajadores sociales se centren en los niños que realmente necesitan protección. En un panel de 2021, Putnam-Hornstein reconoció que “la tasa general de pantalla se mantuvo totalmente estable” en Allegheny desde que se implementó su herramienta.

Mientras tanto, el cuidado de crianza y la separación de las familias pueden tener consecuencias en el desarrollo de por vida para el niño.

Un estudio de HHS de 2012 encontró que el 95 % de los bebés que se informan a las agencias de bienestar infantil pasan por más de un cuidador y cambian de hogar durante su tiempo en el cuidado de crianza, inestabilidad que los investigadores notaron que puede ser en sí misma una forma de trauma.

La hija de los Hackney ya ha sido colocada en dos hogares de acogida y ahora ha pasado más de la mitad de su corta vida lejos de sus padres mientras intentan convencer a los trabajadores sociales de que son dignos.

Mientras tanto, dicen que se están quedando sin dinero en la lucha por su hija. Con apenas lo suficiente para la comida del salario de Andrew Hackney en una tienda de comestibles local, tuvo que cortar su servicio mensual de telefonía celular. Están luchando para pagar los honorarios legales y el dinero de la gasolina necesarios para asistir a las citas que se les exigen.

En febrero, a su hija le diagnosticaron un trastorno que puede alterar su sentido del gusto, según el abogado de Andrew Hackney, Robin Frank, quien agregó que la niña ha seguido teniendo problemas para comer, incluso en hogares de guarda.

Todo lo que tienen por ahora son visitas dos veces por semana que duran unas pocas horas antes de que se la lleven de nuevo. La voz de Lauren Hackney se quiebra cuando le preocupa que su hija pueda ser adoptada y pronto se olvide de su propia familia. Dicen que anhelan hacer lo que muchos padres dan por sentado: poner a su hijo a dormir por la noche en su propia cama.

“Realmente quiero recuperar a mi hijo. La extraño, y especialmente abrazarla. Y, por supuesto, extraño esa risita risueña”, dijo Andrew Hackney, mientras su hija saltaba hacia él emocionada durante una visita reciente. “Duele mucho. No tienes idea de lo malo.

___

Burke informó desde San Francisco. La videoperiodista de Associated Press Jessie Wardarski y la fotoperiodista Maye-E Wong en Pittsburgh contribuyeron a este despacho.

___

Siga a Sally Ho y Garance Burke en Twitter en @_sallyho y @garanceburke.

___

Comuníquese con el equipo de investigación global de AP en [email protected] o https://www.ap.org/tips/