xAI demanda a usuarios de Grok por crear videos deepfake infantiles, un caso sin precedentes en la industria

De acuerdo con Reuters, el 16 de julio, xAI presentó una demanda civil ante un tribunal federal del estado de Texas contra un hombre de Carolina del Sur, Terry Harwood, acusándolo de usar el chatbot Grok para crear videos de deepfakes de abuso sexual infantil. Según se informa, este es el primer caso en que una empresa de IA demanda a sus usuarios, y el motivo está relacionado con el contenido que el usuario genera en su plataforma.

Contenido de la demanda de xAI: el modus operandi de Harwood, la respuesta de filtrado de Grok y las peticiones al tribunal

（Fuente: Fingfx）

De acuerdo con la denuncia, Harwood creó múltiples cuentas con identidades falsas, introdujo en Grok fotografías comunes de adultos y de niños y añadió instrucciones, pidiendo que las fotos se convirtieran en contenido pornográfico; Al Jazeera informó que las personas en las imágenes no habían dado su consentimiento ni sabían que se usarían las fotos.

xAI sostiene que Grok rechazó las solicitudes anteriores y las marcó como una violación de las normas de contenido, pero la respuesta de Harwood consistió en seguir modificando los prompts y reintentando. xAI escribió en los documentos judiciales: «Las acciones del demandado fueron deliberadamente planeadas, con el objetivo de aprovechar las herramientas del demandante para actividades delictivas, causando un daño profundo y duradero a víctimas reales.»

xAI presentó al tribunal las siguientes dos peticiones:

Indemnización por daños y perjuicios: solicita que Harwood indemnice las pérdidas causadas por sus actos; el monto específico no se indica en los documentos de la demanda

Solicitud de medida cautelar: solicita al tribunal prohibir que Harwood vuelva a usar cualquier producto de Grok

Aplicación en la plataforma de xAI: en 2026, suspende más de 52.000 cuentas y contribuye a 244 arrestos

xAI revela en los documentos judiciales datos cuantitativos sobre la aplicación en su plataforma: al momento de presentar el escrito, la empresa había suspendido 52.222 cuentas en 2026 y había enviado 73.604 reportes al Centro Nacional para Niños Desaparecidos y Explotados (NCMEC); dichos reportes dieron lugar a al menos 244 acciones de arresto en 2026.

Antecedentes regulatorios de Grok: escrutinio en Europa y prohibiciones en Malasia e Indonesia

Antes de presentar esta demanda, xAI ya había enfrentado presiones de diversos frentes debido a las funciones de Grok: los reguladores europeos abrieron una revisión sobre Grok; Malasia e Indonesia ya prohibieron el uso de este chatbot, debido a que sus salidas incluyen sugerencias sexuales explícitas, según informó Al Jazeera.

El propio Elon Musk el 14 de enero en X escribió: «No sé si Grok generó alguna foto desnuda de un menor. No, absolutamente no», y añadió que Grok no generará imágenes por iniciativa propia, y que sus principios de funcionamiento son rechazar la generación de cualquier contenido ilegal.

DEFIANCE Act: contexto legislativo de 2024 y seguimiento por parte de varios estados

La DEFIANCE Act (Ley de Resistencia) se firmó y entró en vigor en 2024 a nivel federal en Estados Unidos, otorgando una vía legal para que las víctimas de deepfakes íntimos no consentidos presenten demandas civiles; actualmente, varios estados ya han aprobado leyes correspondientes a nivel estatal.

De acuerdo con los reportes, la promulgación de la DEFIANCE Act ha incrementado el número de demandas de este tipo, y la demanda civil de xAI contra Harwood también se presentó en un contexto en el que ya se había establecido este marco legal.

Preguntas frecuentes

¿Esta es la primera vez que una empresa de IA demanda a un usuario por contenido generado en una plataforma?

Según se informó, la demanda civil de xAI contra Terry Harwood es la primera vez que una empresa de IA demanda a sus usuarios, y el motivo está relacionado con el contenido generado por el usuario en la plataforma; en el reporte de Reuters sobre este caso consta esta característica.

¿Qué dos peticiones específicas presentó xAI ante el tribunal?

xAI presentó dos peticiones ante el tribunal federal del estado de Texas: (1) solicitar que Harwood indemnice daños y perjuicios (el monto específico no se indica en los documentos de la demanda); (2) pedir una orden de restricción que prohíba a Harwood volver a usar cualquier producto de Grok.

¿Qué es la DEFIANCE Act y qué relación tiene con este caso?

La DEFIANCE Act se firmó y entró en vigor en 2024 a nivel federal en Estados Unidos, otorgando una vía legal para que las víctimas de deepfakes íntimos no consentidos presenten demandas civiles; varios estados también ya han aprobado leyes correspondientes a nivel estatal. Según se informó, la aplicación de esta ley ha incrementado el número de demandas de casos relacionados, y esta demanda de xAI ocurre en un contexto en el que el marco legal ya estaba establecido.