«Moderación» suena a una sola cosa. En las apps de compañía son al menos cuatro, que funcionan a distintas velocidades e implican a distintas personas.
Las cuatro capas
Cada capa ve menos contenido, pero lo ve con más detalle.
1. Filtros en tiempo real. Cada mensaje que envías, y cada respuesta que escribe el modelo, puede ser revisado por clasificadores automáticos antes de aparecer. Detectan categorías prohibidas (todo lo que implique a menores, cierto contenido violento, señales de autolesión) y bloquean el mensaje, suavizan la respuesta o muestran un aviso. De ahí vienen los rechazos y las tarjetas de crisis; nuestro artículo sobre filtros de contenido explica por qué a veces saltan en plena escena.
2. Marcado a nivel de conversación. Por separado, los sistemas pueden puntuar conversaciones o cuentas enteras en busca de patrones: intentos repetidos de saltarse un filtro, acoso, señales de que un menor usa una app para adultos. Una marca no es un castigo; es una nota de que una persona podría mirar.
3. Revisión humana. El personal de confianza y seguridad, a menudo en empresas subcontratadas, revisa una fracción de las conversaciones marcadas, de las denuncias de usuarios y de los recursos. Algunas empresas también muestrean conversaciones corrientes para comprobar la calidad o entrenar modelos. Es la capa que las políticas de privacidad describen con frases como «para mejorar nuestros servicios» o «para hacer cumplir nuestras condiciones».
4. Requerimientos legales. Los tribunales, la policía y los reguladores pueden pedir datos con órdenes legales. Las empresas responden según su política y la ley local.
Qué suele provocar que alguien mire
| Desencadenante | Por qué |
|---|---|
| Contenido que implica a menores | Obligación legal en la mayoría de los países; a menudo se comunica a las autoridades |
| Señales de autolesión o suicidio | Protocolos de crisis exigidos ya por ley en varios estados de EE. UU. |
| Amenazas a personas reales | Posible daño en el mundo real |
| Tu propia denuncia o solicitud de soporte | Has pedido que alguien mire |
| Intentos repetidos de saltarse el filtro | Aplicación de las condiciones de servicio |
| Muestreo aleatorio de calidad | Mejora del producto, si la política lo permite |
Qué añaden las leyes nuevas
Las leyes de chatbots de compañía de EE. UU., empezando por Nueva York en 2025 y California en 2026, obligan a las apps a detectar expresiones de pensamientos suicidas y de autolesión y a derivar a los usuarios a servicios de crisis. California también exige a las empresas informar sobre sus protocolos. En la práctica significa más vigilancia automática de las conversaciones más delicadas, no menos. En la UE, el Reglamento de IA exige, desde el 2 de agosto de 2026, informar a los usuarios de que hablan con una IA (art. 50); en México no existe una ley general de IA ni hemos encontrado una norma que obligue a vigilar conversaciones de apps de compañía. El panorama legal está en las leyes sobre IA de compañía.
Cómo leer la política en busca de esto
Busca en la política de privacidad y en las condiciones:
- «revisión», «moderación», «personas»: si hay personas que leen conversaciones y por qué.
- «contratistas» o «proveedores de servicios»: si los revisores trabajan para otra empresa.
- «mejorar», «entrenar»: si se muestrean chats corrientes.
- «autoridades», «proceso legal», «orden judicial»: cuándo se entregan los datos y si hace falta orden judicial.
Una política cuidadosa nombra los desencadenantes y dice que los revisores ven conversaciones solo cuando es necesario. Una política vaga que permite al personal acceder a «todo el contenido para cualquier fin empresarial» también te dice algo. Nuestras cuatro comprobaciones de privacidad cubren el resto del documento. Y si quieres saber qué datos tuyos tiene una empresa, en México tienes derecho de acceso (derechos ARCO de la LFPDPPP) y en la UE el RGPD (art. 15): pídeselo primero a la empresa; si no responde, en México puedes acudir a la Secretaría Anticorrupción y Buen Gobierno (SABG).
Conclusiones prácticas
- Escribe como si un revisor pudiera leerlo, porque en un número reducido de casos lo hará.
- Deja fuera de los chats los datos identificativos de otras personas, sobre todo en escenas explícitas: un revisor que lee una conversación marcada también los ve.
- Si un filtro falla en la ficción, una nota fuera de personaje suele resolverlo; discutir dentro del personaje puede generar más marcas.
- Si lo que más te importa es quién puede leer tus chats, la única configuración en la que nadie más puede es una compañera que funcione en tu propia computadora; mira ejecutar una IA de compañía en local.
Moderación no es lo mismo que vigilancia. En la inmensa mayoría de las conversaciones, nada ni nadie mira más allá del filtro automático. Pero la política, no la calidez de la app, decide las excepciones, y conviene conocerlas antes de necesitarlas.