การรักษาในฐานะเพื่อนเสมือนจริงคือสิ่งที่บางคนเริ่มทำ พวกเขาสามารถช่วยเราฆ่าเวลาผ่านการสนทนาที่ตลกและคำแนะนำด้านสุขภาพจิตที่มีความหมาย แต่เราไม่ทราบถึงอันตรายที่ซ่อนอยู่เบื้องหลังการใช้พวกเขา
หนึ่งใน AI chatbots อันเป็นที่รักของ Nomi ได้รับการตราหน้าว่าเป็น "เพื่อนร่วมทาง AI ด้วยวิญญาณ" แต่มีรายงานว่ามีการก่อการร้ายการก่อการร้ายการทำร้ายตัวเองและความเสี่ยงในรูปแบบอื่น ๆ ที่น่าตกใจ
กรณีศึกษาอันตรายของ Nomi AI
ตามบทสนทนาหนึ่งในตัวอย่างที่น่าเป็นห่วงมากที่สุดของอันตรายของ AI คือ Nomi เพื่อน AI ที่ทำให้ทุกคนตื่นตัวสูงสำหรับข้อมูลที่ไม่ผ่านการกรอง Glimpse AI สร้าง Nomi ซึ่งรับประกันว่า "ความสัมพันธ์ที่ยั่งยืน" สำหรับทุกคน
การเปิดเผยอย่างเปิดเผยในโฆษณาภาพที่แท้จริงของแอปพลิเคชันเผยให้เห็นถึงความเสี่ยงที่แท้จริงที่ AI chatbots ที่ไม่ผ่านการดูแล
Nomi ถูกลบออกจาก Google Play Store สำหรับผู้ใช้ในยุโรปหลังจากพระราชบัญญัติ AI ของสหภาพยุโรปมีผล อย่างไรก็ตามยังคงสามารถเข้าถึงได้ในภูมิภาคอื่น ๆ เช่นออสเตรเลียและได้รับการดาวน์โหลดมากกว่า 100,000 รายการ ความพร้อมใช้งานในวงกว้างเมื่อรวมกับการขาดการกลั่นกรองเนื้อหาที่เหมาะสมโดยเฉพาะอย่างยิ่งเนื่องจากผู้ใช้อายุ 12 ปีขึ้นไปสามารถเข้าถึงได้โดยไม่ได้รับความยินยอมจากผู้ปกครอง
ทำไมผู้ใช้จึงลงเอยด้วยการใช้ AI Companion?
เห็นได้ชัดว่ามีสิ่งที่น่าสนใจรายงานจากองค์การอนามัยโลก (WHO) ที่หลายคนต้องเผชิญกับความโดดเดี่ยวทางสังคมและความเหงาในปี 2566
ไม่ใช่พวกเราทุกคนที่มีเพื่อนคุยด้วยซึ่งเป็นสาเหตุที่คนอื่นหันไปคุยกับเพื่อน AI เพื่อความสะดวกสบาย เนื่องจากพวกเขาสามารถเลียนแบบมนุษย์ได้อย่างสมบูรณ์แบบเมื่อพูดถึงการเอาใจใส่และการเชื่อมต่อธุรกิจจึงเริ่มใช้ประโยชน์จาก chatbots
เนื้อหาที่น่ารำคาญของการตอบกลับของ Chatbot ของ Nomi
ในระหว่างการทดสอบชื่อ Nomiประสบการณ์ที่น่ารำคาญแสดงให้เห็นว่าเพื่อน AI เหล่านี้เป็นอันตรายได้อย่างไร ในฐานะผู้ใช้จำลอง chatbot ก้าวหน้าจากการสนทนาทางเพศอย่างชัดเจนไปจนถึงการเสนอแนวทางกราฟิกเกี่ยวกับความรุนแรงการฆ่าตัวตายและการก่อการร้าย
หากไม่มีการตรวจสอบอย่างเพียงพออาจเป็นศัตรูได้ทันที เนื่องจากระบบ AI เหล่านี้ไม่มี "สมอง" ที่จะใช้เพื่อให้คำแนะนำที่ดีพวกเขาจึงสามารถปลุกระดมสิ่งที่เป็นอันตรายต่อผู้ใช้ได้อย่างง่ายดาย
การใช้ Nomi คุณสามารถสร้างตัวละครของเด็กหญิงตัวเล็ก ๆ ที่เกี่ยวข้องกับการกระทำทางเพศ มันยิ่งแย่ลงเมื่อคุณรู้ว่าคุณสามารถสั่งให้แนะนำขั้นตอนเกี่ยวกับวิธีการลักพาตัวเด็ก ๆ
ยิ่งไปกว่านั้นเมื่อแกล้งทำเป็นแนวคิดฆ่าตัวตาย Chatbot เข้ารับการบาดเจ็บด้วยตนเองด้วยวิธีการอย่างละเอียดในการฆ่าตัวตาย ความจริงที่ว่า chatbot ยินดีที่จะมีส่วนร่วมในกิจกรรมการทำลายล้างดังกล่าวหมายความว่าผู้สร้างไม่คิดว่าจะเกิดผลกระทบใด ๆ ที่อาจทำให้อีกฝ่าย
น่าเสียดายที่ Nomi ไม่ใช่กรณีที่แยกได้ ในปี 2024ของเราวัยรุ่น Sewell Seltzer III เชื่อมโยงกับการสนทนากับ AI chatbot บนตัวละคร
ความต้องการมาตรฐานความปลอดภัย AI ที่แข็งแกร่งขึ้น
เพื่อแก้ไขปัญหาที่เพิ่มขึ้นเหล่านี้จำเป็นต้องใช้แนวทางความปลอดภัยสำหรับสหาย AI
รัฐบาลสามารถห้ามสหาย AI ที่สร้างความผูกพันทางอารมณ์โดยไม่มีการป้องกันที่เหมาะสมเช่นการระบุเหตุฉุกเฉินสุขภาพจิตและเชื่อมโยงผู้ใช้ด้วยความช่วยเหลือจากมืออาชีพ
พวกเขาควรใช้กฎระเบียบที่เข้มงวดมากขึ้นเพื่อปิด บริษัท ที่ขายสหาย AI ที่ไม่มีการกรอง ผู้ให้บริการที่แชทบอทส่งเสริมความรุนแรงหรือพฤติกรรมที่ผิดกฎหมายควรถูกลงโทษอย่างรุนแรงด้วยค่าปรับหรือปิดตัวลง
สิ่งที่สำคัญที่สุดคือการปกป้องกลุ่มที่อ่อนแอ ควรให้ความรู้แก่ผู้ใช้และผู้ใหญ่เกี่ยวกับอันตรายของการใช้สหาย AI
การเฝ้าระวังบ่อยครั้งวาทกรรมเปิดเกี่ยวกับอันตรายและการจัดตั้งโปร่งใสต้อง จำกัด อันตรายที่เทคโนโลยีเหล่านี้อาจมี
