Meta memperkenalkan fitur keamanan baru yang akan memberi tahu orang tua apabila percakapan remaja dengan Meta AI mengindikasikan adanya risiko bunuh diri atau tindakan menyakiti diri sendiri (self-harm).
Mengutip Engadget, fitur ini merupakan bagian dari upaya perusahaan memperkuat perlindungan bagi pengguna remaja di tengah meningkatnya perhatian regulator dan masyarakat terhadap keamanan chatbot AI.
Sebelumnya, Meta AI telah dirancang untuk mengarahkan remaja yang mengungkapkan pikiran tentang bunuh diri atau self-harm menuju layanan bantuan krisis serta mendorong mereka berbicara dengan orang tua atau orang dewasa terpercaya.
Melalui pembaruan terbaru, Meta kini akan secara proaktif mengirimkan notifikasi kepada orang tua atau wali yang menggunakan fitur Instagram Parental Supervision apabila sistem mendeteksi adanya indikasi bahwa remaja tersebut berisiko.
Orang tua juga akan menerima panduan dan sumber daya dari para ahli untuk membantu mereka menghadapi situasi tersebut. Menurut Meta, sistem ini menggunakan model AI khusus yang dikembangkan untuk mengenali percakapan terkait bunuh diri maupun self-harm.
Namun, perusahaan menegaskan bahwa setiap percakapan yang ditandai oleh AI tidak langsung memicu notifikasi kepada orang tua. Seluruh percakapan tersebut akan terlebih dahulu menjalani proses peninjauan manual guna mengurangi kemungkinan kesalahan deteksi yang dapat menimbulkan kepanikan.
Kendati demikian, Meta menyatakan akan mengutamakan prinsip kehati-hatian. Jika setelah ditinjau masih terdapat keraguan mengenai maksud pengguna, Meta tetap akan mengirimkan peringatan kepada orang tua dibandingkan berisiko mengabaikan situasi yang mungkin membahayakan keselamatan remaja tersebut.
Fitur baru ini mulai diluncurkan bagi pengguna Instagram yang memanfaatkan Parental Supervision di Amerika Serikat, Inggris, Australia, dan Kanada. Meta menargetkan fitur tersebut tersedia secara global bagi seluruh pengguna yang menggunakan sistem pengawasan orang tua sebelum akhir tahun 2026.
Selain mengirimkan notifikasi kepada orang tua, Meta mengungkapkan sedang mengembangkan kemampuan lain yang memungkinkan perusahaan menghubungi layanan darurat apabila percakapan dengan Meta AI menunjukkan seseorang berada dalam risiko tinggi melakukan bunuh diri dalam waktu dekat.
Fitur tersebut nantinya tidak hanya berlaku bagi pengguna remaja, tetapi juga dapat diterapkan kepada pengguna dewasa apabila sistem mendeteksi adanya ancaman serius terhadap keselamatan mereka.
Pembaruan ini juga memperluas penerapan pengaturan Limited Content ke dalam interaksi dengan Meta AI. Sebelumnya, fitur tersebut berfungsi menyaring berbagai konten sensitif di Instagram, termasuk visual dewasa dan konten terkait self-harm.
Kini, apabila orang tua mengaktifkan Limited Content, pembatasan serupa juga akan berlaku pada percakapan remaja dengan Meta AI sehingga jenis respons yang diberikan chatbot menjadi lebih terbatas dan sesuai dengan usia pengguna.
