Dalam Safety Snapshot bulan Maret, kami membagikan bagaimana Roblox melakukan moderasi konten melalui sistem otomatis yang dirancang untuk mendeteksi dan menurunkan aneka konten bermasalah—sering kali bahkan sebelum suatu pengguna sempat melihatnya.
Kami juga memperkenalkan dasbor baru yang memberdayakan para kreator untuk mengidentifikasi dan menangani perilaku berbagai pengguna yang tidak pantas di dalam gim mereka, serta program baru untuk melatih para manajer komunitas di seluruh industri.
Melakukan Moderasi Perilaku Pengguna Secara Berkelanjutan
Salah satu daya tarik utama Roblox adalah kontennya yang terus berkembang dan berubah, diciptakan oleh para kreator. Setiap saat, suatu kreator dapat merilis pembaruan gim, menambahkan badge atau hewan peliharaan baru, sedangkan seorang pengguna mengganti outfit avatar, menggambar, atau membangun sesuatu secara real-time. Semua konten ini ditinjau terlebih dahulu sebelum dipublikasikan ke platform, dan akan dihapus jika melanggar peraturan yang berlaku.
Berbagai lapisan sistem moderasi digunakan untuk menangkap sebagian besar konten bermasalah di Roblox, dan setiap konten yang tidak sesuai dengan Community Standards akan ditolak. Namun, sistem ini tidak sepenuhnya sempurna. Oleh karena itu, Roblox juga mengandalkan laporan dari para pengguna untuk menemukan pelanggaran yang mungkin terlewat dan mengambil tindakan yang diperlukan.
Karena sifat Roblox yang dinamis, konten dapat terus berubah berdasarkan kombinasi avatar, pakaian, dan gerakan yang sebelumnya telah disetujui. Misalnya, dalam gim yang memungkinkan pengguna menggambar bebas, seseorang dapat membuat simbol atau gambar yang tidak pantas. Untuk mengatasi hal ini, Roblox menghadirkan sistem AI (artificial intelligence) baru untuk moderasi multimodal secara real-time yang mampu memindai kombinasi elemen tersebut secara bersamaan.
Sistem moderasi AI tradisional umumnya dirancang untuk mengevaluasi satu objek dalam satu waktu, sehingga sering kali kurang memahami konteks dan bisa melewatkan kombinasi elemen yang sebenarnya bermasalah, meskipun masing-masing elemen terlihat aman secara terpisah. Sistem moderasi multimodal real-time yang baru dari Roblox mampu mengevaluasi satu adegan secara menyeluruh—mulai dari avatar, teks, hingga objek 3D. Sistem ini menangkap semua elemen bersangkutan dalam satu momen tertentu, lalu menilai apakah keseluruhan adegan melanggar aturan. Jika perilaku bermasalah seperti ini terjadi berulang dalam satu sesi gim, sistem hanya akan menutup sesi tersebut (server), bukan seluruh gim.
Sejak diluncurkan, sistem ini telah menutup sekitar 5.000 sesi gim per hari yang melanggar Community Standards. Seiring pengembangan dan skalanya yang terus ditingkatkan, Roblox juga terus menyempurnakan akurasi sistem serta bekerja sama dengan komunitas untuk meminimalkan kesalahan deteksi (false positive). Ke depannya, Roblox menargetkan sistem ini dapat memantau hingga 100% waktu bermain. Namun, karena selalu ada pihak yang berupaya mengakali sistem, Roblox juga tengah mengembangkan teknologi lanjutan untuk tidak hanya menutup server, tetapi juga mengidentifikasi pelaku pelanggaran secara spesifik agar dapat ditindak tanpa mengganggu pengalaman pemain lain yang bermain dengan baik.
Memberikan Transparansi kepada Kreator atas Penutupan Server
Roblox menghadirkan transparansi yang lebih besar kepada para kreator terkait hasil dari sistem moderasi multimodal ini melalui penambahan fitur pada safety overview dashboard. Seperti dijelaskan sebelumnya, server gim akan ditutup jika dipenuhi oleh perilaku pengguna yang melanggar aturan. Untuk membantu suatu kreator memahami seberapa sering hal ini terjadi, Roblox menambahkan grafik baru pada Creator Dashboard yang sudah ada.
Grafik ini menampilkan jumlah server yang ditutup setiap hari dalam sebuah pengalaman gim akibat terdeteksinya perilaku pengguna yang berperilaku buruk. Lonjakan angka dapat menjadi indikasi meningkatnya aktivitas bermasalah.
Dengan fitur ini, para kreator kini dapat melihat berapa banyak server gim mereka yang ditutup karena pelanggaran, seperti tindakan pelecehan, diskriminasi, atau konten romantis dan seksual. Informasi ini membantu mereka mengidentifikasi lonjakan masalah lebih cepat, sehingga dapat segera mengambil tindakan sebelum berdampak lebih luas pada komunitas mereka. Suatu kreator juga dapat meninjau kembali fitur dalam gim—seperti custom emote, alat pengeditan avatar, atau fitur kreasi pengguna—dan menentukan apakah perlu dilakukan penyesuaian untuk mencegah munculnya konten yang tidak sesuai.
Program Pelatihan Moderator
Roblox, Keyword Studios, dan Riot Games bekerja sama dengan psikolog riset sekaligus Direktur Riset Games for Change, Rachel Kowert, untuk menghadirkan program sertifikasi baru bagi para pemimpin komunitas digital. Dalam program DLC Leadership ini, Roblox akan berkontribusi melalui keahlian di bidang moderasi komunitas dan desain prosocial untuk membantu mengembangkan kurikulumnya. Inisiatif ini bertujuan mengatasi kurangnya standar pelatihan bagi para moderator daring, manajer komunitas, dan kreator di industri gim.
Dalam sebuah artikel, Kowert menyebut program ini dirancang untuk “menerjemahkan riset tentang komunitas gim dan perilaku daring menjadi alat praktis yang dapat digunakan pemimpin digital untuk membangun komunitas yang lebih kuat dan berkelanjutan.”
Melalui partisipasi ini, Roblox ingin berperan sebagai pelopor dalam menghadirkan program sertifikasi terstandarisasi pertama di industri, yang bermanfaat bagi komunitas kreator Roblox maupun industri gim secara luas. Setelah selesai, program ini diharapkan dapat membekali para kreator dengan keterampilan penting untuk melakukan moderasi dan mengelola komunitas mereka secara efektif. Roblox juga meyakini bahwa dengan melatih lebih banyak moderator dan kreator mengenai praktik terbaik dalam membangun komunitas yang sehat dan saling menghormati, pengalaman bermain gim daring dapat menjadi lebih positif bagi semua orang.