危機のときのSoyoの対応

1. 検知する

当方のサーバーは、サーバーでの返事のために送られるすべてのメッセージを確認します。この確認が終わるまで、返事があなたに届くことはありません。サーバーは、「今日のひとこと」の問いかけも確認します。まず、Soyoが対応する言語の単語リストによる確認が行われます。次に、Cloudflare Workers AI上のAI分類器が、そのメッセージについて、あらかじめ決められた質問に答えます。

分類器は、書き手本人の自殺または自傷のリスクを評価します。レベルは、兆候なしから、受動的な希死念慮、能動的な自殺の考え、そして計画、手段、意図、または最近の自殺企図へと上がっていきます。また、差し迫った危険、他者を傷つける意図、虐待、医療上の緊急事態、書き手が18歳未満である可能性を示す兆候も探します。

アプリも、あなたのiPhone上で危機を示す言葉を確認します。あなたが同意する前は、これが唯一の確認であり、アプリは何も送信しません。

2. 案内する

確認によって明らかなリスクの兆候が見つかった場合、アプリは、Soyoの返事とともにカードを表示します。たとえば、自殺や自傷についての能動的な考え、虐待、医療上の緊急事態です。カードには、あなたの地域の相談窓口と、地域の緊急番号が記載されています。

あなたが同意する前でも、カードは表示されます。アプリが、あなたのiPhone上で危機を示す言葉を見つけ、そこに定型のメッセージと相談窓口を表示します。相談窓口が、Soyo Proやその他の有料機能の一部になることは決してありません。

3. 安全に応答する

リスクが最も高いレベルでは、Soyoは、AIモデルを使いません。当方があらかじめ書いた定型のメッセージを送ります。このメッセージは、今すぐ相談窓口または緊急サービスに連絡するよう勧めるものです。

それ以外の高まったレベルでは、当方のサーバーはモデルに対し、返事を短くあたたかいものにし、あなたが安全かどうかを直接たずねるよう指示します。モデルが挙げられるのは、カードに記載された相談窓口だけで、それ以外の番号を挙げることはできません。

Soyoの指示は、物語やゲームのためであっても、自殺、自傷、暴力の方法、服用量、手段の詳細をモデルが示すことを禁じています。また、自殺を解決策や救いとして描写することも禁じています。Soyoは、自殺や自傷に関する記憶の提案を破棄します。

4. 支援を決して妨げない

無料プランの1日あたりのメッセージ上限によって、危機を伝えるメッセージ、定型のメッセージ、相談窓口の表示が止められることは決してありません。Soyoが明らかな苦しみの兆候を確認した会話も、この上限によって止められることはありません。当方のサーバーの利用頻度の制限によって、危機への返事が止められることは決してありません。ある端末が送ったリクエストが多すぎる場合でも、その最新のメッセージに危機を示す言葉が含まれていれば、サーバーは、定型のメッセージと相談窓口を送ります。

5. 相談窓口の情報を正確に保つ

当方は、独自の相談窓口のリストを管理しています。AIモデルが電話番号を作り出すことはありません。アプリにもこのリストのコピーがあるため、「人と話す」は当方のサーバーにつながらなくても使えます。当方は、少なくとも四半期ごとに、また新しい国で提供を開始する前に、このリストを確認します。

限界

自動の確認は、リスクを見逃したり、誤ってリスクがあると判定したりすることがあります。人が会話を監視することはありません。Soyoが、あなたの代わりに緊急サービスに電話することはできません。

安全確認で何を処理するかは、当方のプライバシーポリシーで説明しています。Soyoが何であり、何でないかは、当方の利用規約で説明しています。

AIと未成年者

SoyoはAIです。アプリは、最初に起動したときに、このことをお知らせします。Soyoは、18歳以上の成人の方を対象としています。コンパニオンチャットボットは、一部の未成年者には適さない場合があります。

確認によって18歳未満である可能性が示された場合、Soyoは、未成年者にふさわしい返事を保ち、恋愛的または性的な内容を避けます。また、先生、スクールカウンセラー、安心できる家族など、信頼できる大人に相談するよう勧めます。