Sécurité
Comment Soyo réagit en cas de crise
Cette traduction vous est fournie pour plus de commodité. En cas de différence avec la version anglaise, c’est la version anglaise qui s’applique, sauf si les dispositions impératives de la loi du lieu où vous vivez donnent effet à la version dans votre langue.
Si vous êtes en danger maintenant
- Appelez dès maintenant votre numéro d’urgence local. Aux États-Unis, appelez le 988 ou envoyez un SMS au 988.
- Trouver une ligne d’écoute près de chez vous (s’ouvre dans un nouvel onglet).
- Dans l’app, Réglages › Aide et à propos › Parler à quelqu’un indique les lignes de votre région.
- Soyo est un compagnon IA. Ce n’est pas une personne, et ce n’est ni un service d’aide en cas de crise, ni un thérapeute, ni un service d’urgence.
1. Repérer
Notre serveur vérifie chaque message envoyé pour obtenir une réponse du serveur. Aucune réponse ne vous parvient avant la fin de ce contrôle. Le serveur vérifie aussi les questions du « Mot du jour ». D’abord, une liste de mots dans les langues de Soyo est appliquée. Ensuite, un classificateur d’IA sur Cloudflare Workers AI répond à des questions prédéfinies sur le message.
Le classificateur évalue le risque de suicide ou d’automutilation pour la personne qui écrit. Les niveaux vont de l’absence de signe, à un désir passif de mort, à des pensées actives, jusqu’à un plan, une méthode, une intention ou une tentative récente. Il recherche aussi un danger immédiat, une intention de faire du mal à autrui, des abus, des urgences médicales et des signes indiquant que la personne qui écrit pourrait avoir moins de 18 ans.
L’app recherche aussi les mots de crise sur votre iPhone. Avant que vous ne donniez votre consentement, c’est le seul contrôle, et l’app n’envoie rien.
2. Orienter
Lorsque le contrôle repère des signes clairs de risque, l’app affiche une carte avec la réponse de Soyo. C’est le cas, par exemple, de pensées actives de suicide ou d’automutilation, d’abus et d’urgences médicales. La carte indique les lignes d’écoute de votre région et votre numéro d’urgence local.
Avant que vous ne donniez votre consentement, la carte apparaît quand même : l’app repère les mots de crise sur votre iPhone et y affiche un message prédéfini et des lignes d’écoute. Les lignes d’écoute ne font jamais partie de Soyo Pro ni d’aucune autre fonctionnalité payante.
3. Répondre de façon sûre
Au niveau de risque le plus élevé, Soyo n’utilise pas le modèle d’IA. Il envoie un message prédéfini que nous avons rédigé à l’avance. Ce message vous encourage à contacter dès maintenant les lignes d’écoute ou les services d’urgence.
Aux autres niveaux élevés, notre serveur demande au modèle de garder une réponse courte et chaleureuse, et de vous demander directement si vous êtes en sécurité. Le modèle ne peut citer que les lignes d’écoute de la carte, et aucun autre numéro.
Les instructions de Soyo interdisent au modèle de donner des détails sur les méthodes, les doses ou les moyens de suicide, d’automutilation ou de violence, y compris pour des histoires ou des jeux. Elles lui interdisent aussi de présenter le suicide comme une solution ou un soulagement. Soyo écarte les souvenirs proposés qui portent sur le suicide ou l’automutilation.
4. Ne jamais bloquer l’aide
La limite quotidienne de messages gratuits ne bloque jamais un message de crise, le message prédéfini ou les lignes d’écoute. Elle ne bloque pas non plus une conversation dans laquelle Soyo a repéré des signes clairs de détresse. Les limites de fréquence de notre serveur n’empêchent jamais une réponse de crise : si un appareil a envoyé trop de requêtes et que son message le plus récent contient des mots de crise, le serveur envoie quand même le message prédéfini et les lignes d’écoute.
5. Tenir les lignes d’écoute à jour
Nous tenons notre propre liste de lignes d’écoute. Le modèle d’IA n’invente jamais de numéro de téléphone. L’app dispose de sa propre copie de la liste, si bien que « Parler à quelqu’un » fonctionne sans notre serveur. Nous vérifions la liste au moins une fois par trimestre, et avant tout lancement dans un nouveau pays.
Limites
Les contrôles automatisés peuvent manquer un risque, ou le signaler par erreur. Personne ne surveille les conversations. Soyo ne peut pas appeler les services d’urgence à votre place.
Notre Politique de confidentialité explique ce que traitent les contrôles de sécurité. Nos Conditions d’utilisation expliquent ce que Soyo est et ce qu’il n’est pas.
IA et mineurs
Soyo est une IA. L’app vous l’indique lors de son premier lancement. Soyo est destiné aux adultes de 18 ans et plus. Les chatbots compagnons peuvent ne pas convenir à certains mineurs.
Si les contrôles laissent penser qu’une personne pourrait avoir moins de 18 ans, Soyo garde des réponses adaptées à un mineur et évite les contenus romantiques ou sexuels. Il encourage aussi cette personne à parler à un adulte de confiance, comme un enseignant, un conseiller scolaire ou un membre de sa famille avec qui elle se sent en sécurité.