Cách Soyo ứng phó với khủng hoảng

1. Phát hiện

Máy chủ của chúng tôi kiểm tra mọi tin nhắn được gửi để nhận phản hồi từ máy chủ. Không có phản hồi nào đến với bạn trước khi bước kiểm tra này kết thúc. Máy chủ cũng kiểm tra các câu hỏi Lời cho hôm nay. Trước tiên, một danh sách từ ngữ bằng các ngôn ngữ của Soyo được chạy. Sau đó, một bộ phân loại AI trên Cloudflare Workers AI trả lời các câu hỏi cố định về tin nhắn.

Bộ phân loại đánh giá nguy cơ tự tử hoặc tự gây hại đối với người viết. Các mức đi từ không có dấu hiệu, đến mong muốn thụ động được chết, đến ý nghĩ chủ động, rồi đến kế hoạch, phương thức, ý định hoặc một lần thử gần đây. Bộ phân loại cũng tìm dấu hiệu nguy hiểm tức thời, ý định làm hại người khác, ngược đãi, tình huống y tế khẩn cấp và dấu hiệu cho thấy người viết có thể dưới 18 tuổi.

Ứng dụng cũng kiểm tra các từ ngữ liên quan đến khủng hoảng ngay trên iPhone của bạn. Trước khi bạn đồng ý, đây là bước kiểm tra duy nhất, và ứng dụng không gửi gì cả.

2. Hướng dẫn đến nơi hỗ trợ

Khi bước kiểm tra phát hiện dấu hiệu rủi ro rõ ràng, ứng dụng hiển thị một thẻ cùng với phản hồi của Soyo. Ví dụ như ý nghĩ chủ động về tự tử hoặc tự gây hại, ngược đãi và tình huống y tế khẩn cấp. Thẻ cung cấp các đường dây hỗ trợ cho khu vực của bạn và số khẩn cấp tại địa phương.

Trước khi bạn đồng ý, thẻ vẫn xuất hiện: ứng dụng tìm các từ ngữ liên quan đến khủng hoảng trên iPhone của bạn và hiển thị ngay tại đó một thông điệp cố định cùng các đường dây hỗ trợ. Các đường dây hỗ trợ không bao giờ là một phần của Soyo Pro hay bất kỳ tính năng trả phí nào khác.

3. Phản hồi an toàn

Ở mức rủi ro cao nhất, Soyo không dùng mô hình AI. Soyo gửi một thông điệp cố định mà chúng tôi đã soạn sẵn. Thông điệp khuyến khích bạn liên hệ ngay với các đường dây hỗ trợ hoặc dịch vụ khẩn cấp.

Ở các mức rủi ro tăng cao khác, máy chủ của chúng tôi yêu cầu mô hình giữ phản hồi ngắn gọn và ấm áp, và hỏi thẳng bạn xem bạn có an toàn không. Mô hình chỉ được nêu các đường dây hỗ trợ có trên thẻ, và không được nêu bất kỳ số điện thoại nào khác.

Các chỉ dẫn của Soyo cấm mô hình cung cấp chi tiết về phương pháp, liều lượng hoặc phương tiện tự tử, tự gây hại hay bạo lực, kể cả trong truyện hoặc trò chơi. Các chỉ dẫn này cũng cấm mô hình mô tả tự tử như một giải pháp hay một sự giải thoát. Soyo loại bỏ các ký ức được đề xuất liên quan đến tự tử hoặc tự gây hại.

4. Không bao giờ chặn sự trợ giúp

Giới hạn tin nhắn miễn phí mỗi ngày không bao giờ chặn tin nhắn về khủng hoảng, thông điệp cố định hoặc các đường dây hỗ trợ. Giới hạn này cũng không chặn một cuộc trò chuyện mà trong đó Soyo đã nhận thấy dấu hiệu bất ổn tâm lý rõ ràng. Giới hạn tần suất của máy chủ chúng tôi không bao giờ ngăn một phản hồi khủng hoảng: nếu một thiết bị đã gửi quá nhiều yêu cầu và tin nhắn mới nhất của thiết bị đó chứa từ ngữ liên quan đến khủng hoảng, máy chủ vẫn gửi thông điệp cố định và các đường dây hỗ trợ.

5. Giữ thông tin đường dây hỗ trợ chính xác

Chúng tôi duy trì danh sách đường dây hỗ trợ của riêng mình. Mô hình AI không bao giờ tự đặt ra số điện thoại. Ứng dụng có bản sao danh sách của riêng mình, nên Trò chuyện với một người vẫn hoạt động mà không cần máy chủ của chúng tôi. Chúng tôi kiểm tra danh sách ít nhất mỗi quý một lần, và trước khi ra mắt tại một quốc gia mới.

Giới hạn

Các bước kiểm tra tự động có thể bỏ sót rủi ro, hoặc đánh dấu rủi ro do nhầm lẫn. Không có người nào theo dõi các cuộc trò chuyện. Soyo không thể thay bạn gọi dịch vụ khẩn cấp.

Chính sách quyền riêng tư của chúng tôi giải thích những gì mà các bước kiểm tra an toàn xử lý. Điều khoản sử dụng của chúng tôi giải thích Soyo là gì và không phải là gì.

AI và người chưa thành niên

Soyo là một AI. Ứng dụng cho bạn biết điều này khi bạn khởi động ứng dụng lần đầu. Soyo dành cho người lớn từ 18 tuổi trở lên. Chatbot đồng hành có thể không phù hợp với một số người chưa thành niên.

Nếu các bước kiểm tra cho thấy một người có thể dưới 18 tuổi, Soyo giữ cho phản hồi phù hợp với người chưa thành niên và tránh nội dung lãng mạn hoặc tình dục. Soyo cũng khuyến khích người đó trò chuyện với một người lớn mà họ tin tưởng, chẳng hạn như giáo viên, chuyên viên tư vấn học đường hoặc một thành viên trong gia đình mà họ cảm thấy an toàn khi ở bên.