A inicios de este año, la plataforma X se vio inundada por violencia sexual digital. Según El País, se crearon alrededor de tres millones de imágenes sexualizadas generadas con inteligencia artificial, entre ellas más de 23.000 que involucraban a niñas, niños y adolescentes. Este hecho constituye una forma de violencia sexual digital en la que los agresores utilizan fotografías reales de personas y solicitan a la IA, en este caso Grok, que las edite para mostrarlas sin ropa o en posiciones sexuales.
Se trata de violencia sexual digital porque no existe consentimiento para el uso de las imágenes, lo que implica una grave vulneración de la privacidad. Asimismo, la producción de imágenes sexualizadas reduce a las personas a objetos, las deshumaniza y refuerza estereotipos de género, como la idea de que las mujeres son objetos sexuales. La creación de este tipo de contenido persigue un objetivo claro: humillar y denigrar.
Como ocurre de manera sistemática en situaciones de violencia sexual, las principales afectadas fueron mujeres, así como infancias y adolescencias. En otras palabras, la IA de la plataforma X ha contribuido a la creación de material de explotación sexual digital expuesto ante millones de usuarios. Este caso resulta paradigmático porque confirma las advertencias que desde hace tiempo realizan organizaciones de la sociedad civil y activistas feministas sobre los riesgos de la IA en la automatización y amplificación de la violencia de género y, por ende, la necesidad urgente de incorporar de manera transversal la perspectiva de género en las regulaciones que respondan al desarrollo de la IA.
¿Cómo respondió X?
X habilitó recientemente la opción de crear imágenes mediante Grok, y la funcionalidad de edición de fotografías es aún más reciente. La forma en que la empresa abordó la ola de violencia sexual generada por la interacción entre usuarios y la IA de Grok confirmó, una vez más, lo que de manera reiterada señalan quienes investigan, responden y diseñan políticas frente a la violencia de género facilitada por la tecnología.
El modelo de negocio de las grandes empresas tecnológicas propietarias de redes sociales se sostiene, en gran medida, en la viralización de contenidos violentos dirigidos a mujeres, población LGBTIQ+, niñas, niños y adolescentes, población racializada entre otros. El odio genera clics; la deshumanización y la objetivización generan interacción. Por ello, a las plataformas les resulta funcional permitir, y también amplificar estas formas de violencia dentro de sus redes sociales.
Un ejemplo ilustrativo de esta lógica es la respuesta de X ante la crisis. Una de las medidas anunciadas fue la supuesta “implementación” de salvaguardas de seguridad mediante la restricción de la generación y edición de imágenes, únicamente quienes podrán acceder a estas funcionalidades son las personas suscriptoras de pago, evidenciando que la prioridad no es la prevención del daño, sino el rédito económico.
La frase de Ekaitz Cancela (autor de Utopías digitales Imaginar el fin del capitalismo) y Anita Fuentes (investigadora en el Instituto de Estudios Feministas de la Universidad Complutense de Madrid) resume lo sucedido: “la violencia es parte del ADN de una estructura que capitaliza la misoginia, el machismo y, en definitiva, la violencia como parte integral de su modelo de negocio.
Días después de este anuncio X después de bastante presión anunció que dejaría de permitir la edición de imágenes de de personas reales con ropa sugerente, Esta nueva restricción se aplicará a todos los usuarios de la plataforma, también a los suscriptores de pago.
¿Esta respuesta es suficiente?
Desde la Fundación InternetBolivia.org y la línea de ayuda del Centro S.O.S. Digital, hasta 2025 hemos acompañado a más de 800 personas que han enfrentado violencia digital en Bolivia. A lo largo de estos años, la violencia sexual digital ha sido, de manera sostenida, la forma de violencia más reportada.
Nuestro acompañamiento se basa en brindar orientación legal, contención emocional y apoyo tecnológico para responder a estas agresiones: desde el reporte de contenidos para su eliminación, hasta el fortalecimiento de prácticas de seguridad digital que permitan prevenir que la violencia escale. Sin embargo, en este proceso hemos escuchado una y otra vez por parte de quienes nos escriben que aunque una cuenta sea sancionada, el contenido eliminado o el perfil deje de existir, la violencia ya ocurrió. El contenido fue creado, circuló, y el daño ya está hecho.
Las medidas posteriores tomadas por X parecen estar orientadas más a proteger a las empresas frente a posibles responsabilidades legales que a garantizar procesos reales de protección y reparación para quienes han sido víctimas de violencia digital.
Frente a este escenario, las plataformas digitales deben colocar en el centro de sus políticas de protección y reparación a las víctimas y sobrevivientes, diseñando sus mecanismos de respuesta a partir de esas experiencias. En la región existen ejemplos valiosos que permiten pensar enfoques de reparación desde una perspectiva feminista y de derechos humanos. Uno de ellos es la investigación Justicia en trámite, de Luchadoras, que aporta claves fundamentales sobre lo que necesitan quienes han enfrentado violencia sexual digital, lo que necesitan del Estado, de las plataformas (redes sociales) y de sus comunidades, actores que comparten un deber de acción frente a estas violencias.
Hasta la fecha, numerosas personas expertas en tecnología y derechos humanos han señalado un punto clave: la generación de contenido de abuso sexual mediante inteligencia artificial debe prevenirse desde el diseño mismo de la tecnología y no limitarse a la moderación posterior del contenido. Eliminar material una vez que ya ha sido creado y expuesto públicamente no es suficiente; las acciones de las plataformas deben ser, ante todo, preventivas.
Sobre los problemas legales
Diversos países han iniciado investigaciones o adoptado medidas contra X y Grok; entre ellos se encuentran el Reino Unido, India, Australia, Canadá, Malasia y Francia. En la región, Brasil exigió a la plataforma detener la producción de imágenes sexualizadas falsas bajo amenaza de sanciones. Un elemento común en varios de estos países es la existencia de normativas específicas que permiten a los gobiernos exigir responsabilidad a las plataformas digitales por el uso de los datos personales de sus ciudadanos entre otras cosas.
Estos marcos regulatorios otorgan al Estado competencias, entre otras, para investigar y sancionar situaciones consideradas ilegales en redes sociales relacionadas con la violencia digital. Aunque en muchos casos las normas no contemplan de manera explícita el uso de inteligencia artificial, al menos reconocen de forma expresa que el contenido violento dirigido hacia mujeres, niñas, niños y adolescentes debe ser investigado.
Si bien las respuestas legales suelen ser tardías y la normativa de los países mencionados presenta vacíos y cuellos de botella respecto a la violencia de género facilitada por la tecnología, contar con un marco que pueda interpelar a las plataformas establece un precedente clave: las plataformas no pueden permanecer impunes frente a la violencia que facilitan, y quienes utilizan estas plataformas para ejercer violencia también tienen responsabilidad directa sobre los daños ocasionados.
La situación legal de Bolivia frente a la violencia de género facilitada por la tecnología.
Bolivia avanza de manera lenta en materia de regulación digital y aún más en normativa que proteja los derechos humanos en los entornos digitales. Para la protección de niñas, niños y adolescentes (NNA), la pasada gestión promulgó la Ley para la Protección de la Integridad Sexual de Niñas, Niños y Adolescentes en Entornos Digitales, que establece un marco regulatorio para identificar, investigar y sancionar delitos contra la integridad sexual en línea. Esta norma contempla cinco delitos relacionados con la violencia sexual en entornos digitales, lo que representa un avance significativo:
- Artículo 312 Quinquies – Contacto con Niñas, Niños y Adolescentes con Fines Sexuales.
- Artículo 312 Sexies – Abuso Sexual por Medios Digitales.
- Artículo 318 Bis – Exposición a Contenido Sexual.
- Artículo 323 Ter – Producción de Material de Abuso Sexual Infantil.
- Artículo 323 Quater – Posesión o Comercialización de Material de Abuso Sexual Infantil.
En contraste, para las mujeres adultas no existe una normativa explícita que reconozca la violencia sexual digital. Aunque actualmente hay mayor sensibilización entre funcionarias y funcionarios públicos y se recurre al delito de pornografía para atender e investigar situaciones relacionadas con la violencia sexual digital, la ausencia de una normativa y política pública específica limita la acción de manera integral. Las intervenciones de las entidades competentes suelen ser aisladas y fragmentadas, aunque la legislación vigente otorga competencia para actuar, la cual no siempre es reconocida ni aplicada de manera consistente.
Algunas posibles respuestas
En la gestión 2025, la Fundación InternetBolivia.org presentó una propuesta de política pública para abordar la violencia de género facilitada por la tecnología. Entre las principales medidas propuestas se incluyen:
- La tipificación de figuras penales relacionadas con la violencia de género facilitada por tecnología (VGFT).
- La elaboración de normativa especializada sobre la materia.
- Estrategias de sensibilización y fortalecimiento de capacidades para operadores de justicia.
- Programas de reparación integral para las víctimas de violencia de género, incluyendo aquellos casos ocurridos en entornos digitales.
- Entrenamiento para la investigación de estas formas de violencia para funcionarios públicos.
Además, los últimos reportes del Centro S.O.S. Digital destacan la importancia de la educación sexual integral con perspectiva digital como una herramienta clave para que adolescentes y jóvenes reconozcan la violencia sexual digital como una forma grave de violencia y no la minimicen. Asimismo, se subraya la necesidad de fomentar una mirada crítica frente a la hipersexualización de mujeres, niñas, niños y adolescentes en redes sociales, con el objetivo de desnaturalizar y dejar de normalizar estas prácticas.
La Ley Modelo Interamericana para Prevenir, Sancionar y Erradicar la Violencia Digital contra las Mujeres Basada en Género, presentada por la OEA en 2025, aporta elementos clave para pensar una regulación efectiva en el país. Entre ellos, destaca la necesidad de fortalecer la responsabilidad y la debida diligencia de las plataformas digitales, garantizando mecanismos efectivos de prevención, atención y reparación. También propone marcos de gobernanza tecnológica que prioricen la seguridad y la dignidad de las mujeres por encima de intereses económicos.
Este modelo de normativa propone que los algoritmos utilizados por las plataformas digitales deben incorporar medidas orientadas a prevenir la violencia digital contra mujeres, niñas y adolescentes. En particular, deben evitar la amplificación de contenidos ilícitos o nocivos, eliminar sesgos y estereotipos que perpetúen la violencia o la discriminación, y contribuir desde el diseño a la construcción de un entorno digital seguro, respetuoso y protector de los derechos humanos.
El caso de Grok y la epidemia de violencia sexual digital nos deja una lección importante: las plataformas digitales deben asumir su responsabilidad. Es urgente contar con normativa que permita exigir rendición de cuentas sobre el uso de nuestros datos y que garantice mecanismos de reparación centrados en las víctimas. La respuesta frente a la violencia sexual digital no puede limitarse únicamente a la eliminación de contenido; desde el diseño de las plataformas, se debe prevenir activamente que sus herramientas sean utilizadas para generar violencia sexual.
Frente a la automatización de la violencia sexual, las plataformas digitales no pueden quedar impunes.
Por Lu An Mendez, directora del área de prevención de violencias de género facilitadas por la tecnología