OpenAI publicó el 28/4/2026 una nota pública donde explica cómo entrena a ChatGPT para reconocer y responder a señales de riesgo de violencia, y qué pasos toma cuando percibe peligro (según OpenAI News, 28/4/2026). Este anuncio resume quién revisa, qué herramientas automáticas se usan y las acciones posibles: desde respuestas seguras hasta revocar accesos y, en casos de riesgo inminente, notificar a las autoridades.
¿Qué anunció OpenAI y por qué importa?
OpenAI explicita que su objetivo es permitir conversaciones legítimas sobre violencia (histórica, educativa o preventiva) mientras bloquea instrucciones operativas que faciliten daño real. La compañía remarca que entrena modelos para rechazar solicitudes que puedan «habilitar violencia» y que aplica herramientas como clasificadores, modelos de razonamiento y hash-matching para detectar señales (según OpenAI News, 28/4/2026).
Esto importa porque plataformas con millones de usuarios pueden amplificar instrucciones peligrosas; recordemos que ChatGPT se lanzó en noviembre de 2022 (según OpenAI) y alcanzó una adopción rápida, con cifras públicas que reportaron alrededor de 100 millones de usuarios mensuales en enero de 2023 (según Statista, enero 2023). El anuncio de ahora comunica que la detección busca evaluar conversación por conversación y patrón a lo largo del tiempo para distinguir tono, intención y contexto.
¿Cómo detectan y actúan —y qué papel juegan las personas?
OpenAI dice combinar detección automática a escala con revisiones humanas. Primero, sistemas automáticos marcan señales usando múltiples métodos; luego, revisores entrenados evalúan el contexto y determinan si procede escalamiento. Cuando se confirma una violación considerada grave, OpenAI puede revocar acceso, banear cuentas relacionadas e intentar bloquear la apertura de nuevas cuentas (según OpenAI News, 28/4/2026).
La nota también detalla que, en escenarios de riesgo inminente y creíble, se notifica a las fuerzas del orden; para casos de crisis personal, ChatGPT ofrece recursos locales y puede escalar a contactos designados. Además, OpenAI describió canales de notificación para padres: correo, SMS y push — tres vías de alerta distintas (según OpenAI News, 28/4/2026).
¿Cómo nos afecta esto en Argentina y en la región?
En la práctica, las medidas pueden reducir el riesgo de que instrucciones operativas circulen en plataformas masivas, pero su efectividad depende de transparencia y adaptación al español y a contextos locales. Si los sistemas clasificadores fueron entrenados principalmente en inglés, la tasa de falsos positivos o falsos negativos para español puede ser diferente; OpenAI no publica en este anuncio métricas por idioma, lo cual dificulta evaluar impacto regional (según OpenAI News, 28/4/2026, datos de métricas no disponibles públicamente).
Para gobiernos, ONGs y medios en Argentina, la preocupación es doble: protección efectiva de comunidades y garantías de derechos civiles. Sin cifras públicas sobre cuántas cuentas se sancionan o con qué criterio, es imposible medir si las acciones son proporcionales. Por eso insistimos en solicitar datos desagregados por idioma y tipo de señal.
¿Qué pedimos y qué debería publicar OpenAI ahora?
Desde nuestra posición apoyamos medidas de seguridad, pero exigimos transparencia operativa. Pedimos mínimo tres entregables públicos y verificables: 1) reportes trimestrales con cifras de flags y sanciones por tipo y por idioma; 2) documentación técnica en español sobre criterios de detección y protocolos de escalado; 3) gobernanza que incluya revisión humana independiente y canales de apelación claros (posición consistente con nuestras notas previas sobre adopción de IA).
Además, proponemos que OpenAI publique métricas básicas: número de cuentas suspendidas por violencia en el último año, proporción de detecciones automáticas que fueron desestimadas en revisión humana, y tiempos promedio de respuesta en casos escalados. Si no existe esa data públicamente, decirlo claramente es un primer paso. Sin transparencia no podemos evaluar si la protección de comunidades viene acompañada de salvaguardas para la privacidad y las libertades civiles.
Cerramos recordando que la tecnología no es mágica: detectar riesgo de violencia es una tarea técnica y ética compleja. Apoyamos las medidas anunciadas el 28/4/2026, pero pedimos a OpenAI que pase de la descripción general a métricas publicadas, documentación en español y una gobernanza con revisión humana verificable para que la sociedad pueda juzgar resultados y riesgos (según OpenAI News, 28/4/2026).
