위기 상황에서 Soyo의 대응 방식

1. 감지하기

저희 서버는 서버 답장을 위해 전송되는 모든 메시지를 확인합니다. 이 확인이 끝나기 전에는 어떤 답장도 이용자에게 전달되지 않습니다. 서버는 ‘오늘의 한마디’ 질문도 확인합니다. 먼저 Soyo가 지원하는 언어의 단어 목록으로 확인합니다. 그런 다음 Cloudflare Workers AI의 AI 분류기가 메시지에 관한 정해진 질문에 답합니다.

분류기는 글쓴이 본인의 자살 또는 자해 위험을 평가합니다. 위험 수준은 징후 없음에서 시작해, 죽고 싶다는 수동적인 바람, 능동적인 생각, 그리고 계획, 방법, 의도 또는 최근의 시도로 높아집니다. 또한 즉각적인 위험, 타인을 해치려는 의도, 학대, 의료 응급 상황, 그리고 글쓴이가 만 18세 미만일 수 있다는 징후도 찾습니다.

앱도 이용자의 iPhone에서 위기 관련 단어를 확인합니다. 이용자가 동의하기 전에는 이것이 유일한 확인이며, 앱은 아무것도 보내지 않습니다.

2. 안내하기

확인 결과 뚜렷한 위험 징후가 발견되면, 앱은 Soyo의 답장과 함께 카드를 표시합니다. 예를 들어 자살이나 자해에 대한 능동적인 생각, 학대, 의료 응급 상황이 이에 해당합니다. 카드에는 이용자 지역의 상담 전화와 지역 긴급 번호가 나와 있습니다.

이용자가 동의하기 전에도 카드는 표시됩니다. 앱이 이용자의 iPhone에서 위기 관련 단어를 찾아 그곳에 고정 메시지와 상담 전화를 표시합니다. 상담 전화는 결코 Soyo Pro나 다른 유료 기능의 일부가 아닙니다.

3. 안전하게 응답하기

위험이 가장 높은 수준에서는 Soyo가 AI 모델을 사용하지 않습니다. 저희가 미리 작성한 고정 메시지를 보냅니다. 이 메시지는 지금 바로 상담 전화나 응급 서비스에 연락하도록 권합니다.

그 밖의 높아진 수준에서는 저희 서버가 모델에게 답장을 짧고 따뜻하게 유지하고, 이용자가 안전한지 직접 묻도록 지시합니다. 모델은 카드에 있는 상담 전화만 언급할 수 있으며, 다른 번호는 언급할 수 없습니다.

Soyo의 지침은 이야기나 게임을 위한 경우에도 모델이 자살, 자해 또는 폭력의 방법, 용량 또는 수단에 관한 세부 정보를 제공하는 것을 금지합니다. 또한 자살을 해결책이나 안도로 묘사하는 것도 금지합니다. 자살이나 자해에 관한 기억이 제안되면 Soyo는 이를 폐기합니다.

4. 도움을 절대 막지 않기

무료 이용의 하루 메시지 한도는 위기 메시지, 고정 메시지, 상담 전화 안내를 절대 막지 않습니다. 또한 Soyo가 뚜렷한 고통의 징후를 확인한 대화도 막지 않습니다. 저희 서버의 요청 빈도 제한은 위기 답장을 결코 막지 않습니다. 기기가 너무 많은 요청을 보냈더라도 가장 최근 메시지에 위기 관련 단어가 있으면, 서버는 여전히 고정 메시지와 상담 전화를 보냅니다.

5. 상담 전화 정보를 정확하게 유지하기

저희는 자체 상담 전화 목록을 관리합니다. AI 모델은 전화번호를 절대 지어내지 않습니다. 앱에도 이 목록의 사본이 있으므로, ‘사람과 이야기하기’는 저희 서버 없이도 작동합니다. 저희는 최소한 분기마다, 그리고 새로운 국가에 출시하기 전에 이 목록을 확인합니다.

한계

자동 확인은 위험을 놓치거나, 위험을 잘못 감지할 수 있습니다. 누구도 대화를 모니터링하지 않습니다. Soyo는 이용자를 대신해 응급 서비스에 전화할 수 없습니다.

안전 확인이 무엇을 처리하는지는 저희 개인정보 처리방침에서 설명합니다. Soyo가 무엇이고 무엇이 아닌지는 저희 이용약관에서 설명합니다.

AI와 미성년자

Soyo는 AI입니다. 앱은 처음 시작할 때 이 사실을 알려 드립니다. Soyo는 만 18세 이상 성인을 위한 서비스입니다. 동반자 챗봇은 일부 미성년자에게 적합하지 않을 수 있습니다.

확인 결과 만 18세 미만일 수 있다는 징후가 있으면, Soyo는 미성년자에게 적합한 답장을 유지하고 연애적이거나 성적인 콘텐츠를 피합니다. 또한 교사, 학교 상담 선생님, 안전하다고 느끼는 가족처럼 신뢰할 수 있는 성인과 이야기하도록 권합니다.