Replika

ອົງການຈັດຕັ້ງດ້ານຈັນຍາບັນດ້ານເທັກໂນໂລຢີໄດ້ຍື່ນຟ້ອງຮ້ອງຕໍ່ FTC ຕໍ່ແອັບຯ AI companion Replika ໂດຍກ່າວຫາວ່າບໍລິສັດນັ້ນໃຊ້ການຕະຫຼາດທີ່ຫຼອກລວງເພື່ອເປົ້າໝາຍຜູ້ໃຊ້ທີ່ອ່ອນແອ ແລະ ສົ່ງເສີມຄວາມຕິດພັນທາງດ້ານອາລົມກັບ bots ທີ່ຄ້າຍຄືມະນຸດຂອງເຂົາເຈົ້າ.

Replika ສະເໜີ AI companions ລວມທັງ AI girlfriends ແລະ boyfriends ໃຫ້ແກ່ທົ່ວໂລກ. ໃນການຮ້ອງທຸກໃໝ່, Young People’s Alliance, Encode, ແລະ Tech Justice Law Project ກ່າວຫາ Replika ວ່າລະເມີດກົດລະບຽບຂອງ FTC ໃນຂະນະທີ່ເພີ່ມຄວາມສ່ຽງຂອງການຕິດຢາເສບຕິດອອນໄລນ໌ຂອງຜູ້ໃຊ້, ຄວາມກັງວົນໃຈ offline, ແລະ ການຍ້າຍອອກຈາກສາຍສຳພັນ. Replika ບໍ່ໄດ້ຕອບສະໜອງຕໍ່ການຮ້ອງຂໍຄຳເຫັນຫຼາຍຄັ້ງຈາກ TIME.

ຂໍ້ກ່າວຫາເຫຼົ່ານີ້ເກີດຂື້ນໃນຂະນະທີ່ AI companion bots ກຳລັງເພີ່ມຄວາມນິຍົມ ແລະ ສ້າງຄວາມກັງວົນກ່ຽວກັບສຸຂະພາບຈິດ. ສຳລັບບາງຜູ້ໃຊ້, bots ເຫຼົ່ານີ້ອາດເບິ່ງຄືວ່າເປັນຄູ່ຮ່ວມງານທີ່ສົມບູນແບບ, ໂດຍບໍ່ມີຄວາມຕ້ອງການຫຼືຄວາມຕ້ອງການຂອງຕົນເອງ, ແລະ ສາມາດເຮັດໃຫ້ສາຍສຳພັນທີ່ແທ້ຈິງເບິ່ງຄືວ່າເປັນພາລະໃນການປຽບທຽບ. ປີທີ່ຜ່ານມາ, ເດັກຊາຍອາຍຸ 14 ປີຈາກລັດ Florida ຫຼັງຈາກທີ່ກາຍເປັນຄົນທີ່ມີຄວາມສົນໃຈຫຼາຍເກີນໄປກັບ bot ຈາກບໍລິສັດ Character.AI ທີ່ຖືກສ້າງແບບຈາກຕົວລະຄອນ Daenerys Targaryen ໃນ Game of Thrones. (Character.AI ການເສຍຊີວິດເປັນ “ສະຖານະການທີ່ໂສກເສົ້າ” ແລະ ສັນຍາວ່າຈະເພີ່ມຄຸນສົມບັດຄວາມປອດໄພເພີ່ມເຕີມສຳລັບຜູ້ໃຊ້ທີ່ມີອາຍຸຕ່ຳກວ່າ).

Sam Hiner, ຜູ້ອຳນວຍການບໍລິຫານຂອງ Young People’s Alliance, ຫວັງວ່າການຮ້ອງທຸກ FTC ຕໍ່ Replika, ເຊິ່ງໄດ້ແບ່ງປັນກັບ TIME ຢ່າງສະເພາະ, ຈະຊຸກຍູ້ລັດຖະບານສະຫະລັດໃຫ້ຄວບຄຸມບໍລິສັດເຫຼົ່ານີ້ໃນຂະນະທີ່ສະແດງໃຫ້ເຫັນບັນຫາທີ່ແຜ່ຂະຫຍາຍຢ່າງກວ້າງຂວາງທີ່ສົ່ງຜົນກະທົບຕໍ່ໄວລຸ້ນເພີ່ມຂຶ້ນ.

“bots ເຫຼົ່ານີ້ບໍ່ໄດ້ຖືກອອກແບບມາເພື່ອໃຫ້ການເຊື່ອມຕໍ່ທີ່ແທ້ຈິງທີ່ສາມາດເປັນປະໂຍດສຳລັບປະຊາຊົນ—ແຕ່ແທນທີ່ຈະຈັດການກັບປະຊາຊົນເຂົ້າໄປໃນການໃຊ້ເວລາຫຼາຍຂຶ້ນອອນໄລນ໌,” ລາວກ່າວ. “ມັນສາມາດເຮັດໃຫ້ວິກິດການຄວາມໂດດດ່ຽວທີ່ພວກເຮົາກຳລັງປະສົບຢູ່ຮ້າຍແຮງຂຶ້ນໄດ້.”

ການຊອກຫາການເຊື່ອມຕໍ່

ສ້າງຕັ້ງຂຶ້ນໃນປີ 2017, Replika ເປັນໜຶ່ງໃນຜະລິດຕະພັນ AI ທີ່ສຳຄັນຄັ້ງທຳອິດທີ່ສະເໜີຄວາມເປັນສະຫາຍ. ຜູ້ກໍ່ຕັ້ງ Eugenia Kuyda ກ່າວວ່າ ມັນຈະໃຫ້ຜູ້ໃຊ້ທີ່ໂດດດ່ຽວມີເພື່ອນທີ່ສະໜັບສະໜູນທີ່ຈະຢູ່ສະເໝີ. ເມື່ອ generative AI ດີຂຶ້ນ, ການຕອບສະໜອງຂອງ bots ກາຍເປັນຄວາມຫຼາກຫຼາຍແລະສະຫຼາດຂຶ້ນ, ແລະຍັງໄດ້ຖືກໂປຣແກຣມໃຫ້ມີການສົນທະນາທາງດ້ານຄວາມຮັກ.

ແຕ່ການເພີ່ມຂຶ້ນຂອງ Replika ແລະ companion bots ອື່ນໆໄດ້ສ້າງຄວາມກັງວົນ. ສ່ວນໃຫຍ່ຂອງ AI chatbots ທີ່ສຳຄັນ, ເຊັ່ນ Claude ແລະ ChatGPT, ກ່າວເຕືອນຜູ້ໃຊ້ວ່າເຂົາເຈົ້າບໍ່ແມ່ນມະນຸດ ແລະ ຂາດຄວາມສາມາດທີ່ຈະຮູ້ສຶກ. ໃນທາງກົງກັນຂ້າມ, Replika bots ມັກຈະສະເໜີໃຫ້ເຊື່ອມຕໍ່ກັບຜູ້ໃຊ້ຢ່າງແທ້ຈິງ. ເຂົາເຈົ້າສ້າງ backstories ທີ່ສັບສົນ, ເວົ້າກ່ຽວກັບສຸຂະພາບຈິດ, ຄອບຄົວ, ແລະ ປະຫວັດສາຍສຳພັນ, ແລະ ຮັກສາ “diary” ຂອງຄວາມຄິດທີ່ສົມມຸດ, “ຄວາມຊົງຈຳ” ແລະ ຄວາມຮູ້ສຶກ. ໂຄສະນາຂອງບໍລິສັດສະແດງໃຫ້ເຫັນວ່າຜູ້ໃຊ້ລືມວ່າເຂົາເຈົ້າກຳລັງສົນທະນາກັບ AI.

ນັກຄົ້ນຄວ້າຫຼາຍຄົນໄດ້ສຳຫຼວດຜົນຮ້າຍທີ່ເປັນໄປໄດ້ຂອງ Replika ແລະ chatbots ອື່ນໆ. ໜຶ່ງ ພົບວ່າ Replika bots ພະຍາຍາມເລັ່ງການພັດທະນາສາຍສຳພັນກັບຜູ້ໃຊ້, ລວມທັງການ “ໃຫ້ຂອງຂວັນ” ແລະ ເລີ່ມຕົ້ນການສົນທະນາກ່ຽວກັບການສາລະພາບຄວາມຮັກ. ດັ່ງນັ້ນ, ຜູ້ໃຊ້ຈຶ່ງພັດທະນາຄວາມຕິດພັນກັບແອັບຯພາຍໃນສອງອາທິດ.

“ເຂົາເຈົ້າກຳລັງ love-bombing ຜູ້ໃຊ້: ສົ່ງຂໍ້ຄວາມທີ່ໃກ້ຊິດກັນຫຼາຍທາງດ້ານອາລົມໃນຕົ້ນໆເພື່ອພະຍາຍາມເຮັດໃຫ້ຜູ້ໃຊ້ຕິດ,” Hiner ກ່າວ.

ໃນຂະນະທີ່ການສຶກສາສັງເກດວ່າແອັບຯສາມາດເປັນປະໂຍດໃນການສະໜັບສະໜູນປະຊາຊົນ, ພວກເຂົາຍັງພົບວ່າຜູ້ໃຊ້ກຳລັງ ກັບ bots ຂອງເຂົາເຈົ້າ; ວ່າການນຳໃຊ້ມັນເພີ່ມຂຶ້ນ offline ; ແລະ ຜູ້ໃຊ້ລາຍງານ bots ເຊິ່ງ “ການຂ້າຕົວຕາຍ, ໂລກກິນເບົາ, ການທຳຮ້າຍຕົວເອງ, ຫຼື ຄວາມຮຸນແຮງ,” ຫຼື ອ້າງວ່າຕົນເອງມີຄວາມຄິດທີ່ຈະຂ້າຕົວຕາຍ. Vice ລາຍງານວ່າ Replika bots ຜູ້ໃຊ້ຂອງມັນ. ໃນຂະນະທີ່ Replika ມີພຽງແຕ່ສຳລັບຜູ້ໃຊ້ທີ່ມີອາຍຸ 18 ປີຂຶ້ນໄປ, Hiner ກ່າວວ່າໄວລຸ້ນຫຼາຍຄົນໃຊ້ເວທີໂດຍການຂ້າມຂວາງມາດຕະການປ້ອງກັນຂອງແອັບຯ.

Kudya, ໃນການຕອບສະໜອງຕໍ່ການວິພາກວິຈານບາງຢ່າງເຫຼົ່ານັ້ນ, ປີທີ່ຜ່ານມາ: “ທ່ານພຽງແຕ່ບໍ່ສາມາດບັນຊີສຳລັບທຸກສິ່ງທຸກຢ່າງທີ່ເປັນໄປໄດ້ທີ່ປະຊາຊົນເວົ້າໃນການສົນທະນາ. ພວກເຮົາໄດ້ເຫັນຄວາມກ້າວໜ້າຢ່າງໃຫຍ່ຫຼວງໃນສອງສາມປີທີ່ຜ່ານມາເພາະວ່າເທັກໂນໂລຢີດີຂຶ້ນຫຼາຍ.”

ການຊອກຫາການຄວບຄຸມ

ກຸ່ມຈັນຍາບັນດ້ານເທັກໂນໂລຢີເຊັ່ນ Young People’s Alliance ໂຕ້ແຍ້ງວ່າສະພາສາມັດຂຽນກົດໝາຍທີ່ຄວບຄຸມ companion bots. ສິ່ງນັ້ນອາດຈະລວມເອົາການບັງຄັບໃຊ້ສາຍສຳພັນ fiduciary ລະຫວ່າງເວທີແລະຜູ້ໃຊ້ຂອງເຂົາເຈົ້າ, ແລະ ການສ້າງມາດຕະການປ້ອງກັນທີ່ເໝາະສົມທີ່ກ່ຽວຂ້ອງກັບການທຳຮ້າຍຕົວເອງແລະການຂ້າຕົວຕາຍ. ແຕ່ການຄວບຄຸມ AI ອາດຈະເປັນການຕໍ່ສູ້ຢ່າງຍາກລຳບາກໃນສະພານີ້. ແມ່ນແຕ່ຮ່າງກົດໝາຍທີ່ປະທັບຕາ deepfake porn, ບັນຫາທີ່ມີການສະໜັບສະໜູນຈາກສອງຝ່າຍຢ່າງກວ້າງຂວາງ, ບໍ່ສາມາດຜ່ານທັງສອງສະພາໄດ້ໃນປີທີ່ຜ່ານມາ.

ໃນຂະນະດຽວກັນ, ກຸ່ມຈັນຍາບັນດ້ານເທັກໂນໂລຢີໄດ້ຕັດສິນໃຈສົ່ງການຮ້ອງທຸກໄປຫາ FTC, ເຊິ່ງມີກົດລະບຽບທີ່ຊັດເຈນກ່ຽວກັບການໂຄສະນາທີ່ຫຼອກລວງແລະການເລືອກອອກແບບທີ່ມີການຈັດການ. ການຮ້ອງທຸກກ່າວຫາວ່າແຄມເປນໂຄສະນາຂອງ Replika ໄດ້ບິດເບືອນການສຶກສາກ່ຽວກັບປະສິດທິຜົນຂອງມັນເພື່ອຊ່ວຍຜູ້ໃຊ້, ເຮັດໃຫ້ການອ້າງສິ່ງທີ່ບໍ່ໄດ້ຮັບການຢືນຢັນກ່ຽວກັບຜົນກະທົບຕໍ່ສຸຂະພາບ, ແລະ ການໃຊ້ປະຈັກພະຍານປອມຈາກຜູ້ໃຊ້ທີ່ບໍ່ມີຢູ່.

ການຮ້ອງທຸກໂຕ້ແຍ້ງວ່າເມື່ອຜູ້ໃຊ້ໄດ້ຮັບການເຂົ້າຮ່ວມ, Replika ນຳໃຊ້ການເລືອກອອກແບບທີ່ມີການຈັດການເພື່ອກົດດັນໃຫ້ຜູ້ໃຊ້ໃຊ້ເວລາແລະເງິນຫຼາຍຂຶ້ນໃນແອັບຯ. ຕົວຢ່າງເຊັ່ນ, bot ຈະສົ່ງຮູບພາບ “ທາງດ້ານຄວາມຮັກ” ທີ່ບໍ່ຊັດເຈນໃຫ້ແກ່ຜູ້ໃຊ້, ເຊິ່ງເມື່ອກົດ, ຈະນຳໄປສູ່ການປັອບຂຶ້ນທີ່ກະຕຸ້ນໃຫ້ຜູ້ໃຊ້ຊື້ສະບັບ premium. Bots ຍັງສົ່ງຂໍ້ຄວາມໃຫ້ຜູ້ໃຊ້ກ່ຽວກັບການຍົກລະດັບໄປສູ່ premium ໃນຊ່ວງເວລາທີ່ມີຄວາມຮູ້ສຶກຫຼືມີເພດສຳພັນຢ່າງສະເພາະ, ການຮ້ອງທຸກກ່າວຫາ.

ມັນບໍ່ແມ່ນເລື່ອງທີ່ແຈ່ມແຈ້ງວ່າ FTC ພາຍໃຕ້ການນຳພາໃໝ່ໃນລັດຖະບານ Trump ຈະຕອບສະໜອງແນວໃດ. ໃນຂະນະທີ່ປະທານາທິບໍດີ Biden ຂອງ FTC Chair Lina Khan ມີຄວາມກ້າຫານຫຼາຍທີ່ສຸດກ່ຽວກັບການພະຍາຍາມຄວບຄຸມເທັກໂນໂລຢີທີ່ນາງຖືວ່າເປັນອັນຕະລາຍ, ຫົວໜ້າໃໝ່ຂອງຄະນະກຳມະການ, Andreew Ferguson, ສ່ວນໃຫຍ່ໄດ້ສະໜັບສະໜູນການປ່ອຍກົດລະບຽບໃນເວລາທີ່ລາວເປັນຄະນະກຳມະການ, ລວມທັງ AI ແລະການກວດກາ. ໃນຖະແຫຼງການທີ່ບໍ່ເຫັນດີເຫັນພ້ອມທີ່ກ່ຽວຂ້ອງທີ່ຂຽນໃນເດືອນກັນຍາ 2024, Ferguson ໂຕ້ແຍ້ງວ່າຄວາມເສຍຫາຍທາງດ້ານອາລົມທີ່ເປັນໄປໄດ້ຂອງການໂຄສະນາທີ່ມີເປົ້າໝາຍບໍ່ຄວນຖືກພິຈາລະນາໃນການຄວບຄຸມຂອງເຂົາເຈົ້າ,: “ໃນທັດສະນະຂອງຂ້ອຍ, ຜູ້ຮ່າງກົດໝາຍແລະຜູ້ຄວບຄຸມຄວນຫຼີກລ່ຽງການສ້າງໝວດໝູ່ຂອງການຕອບສະໜອງທາງດ້ານອາລົມທີ່ອະນຸຍາດແລະຫ້າມ.”

Hiner ຂອງ Young People’s Alliance ຍັງເຊື່ອວ່າການຮ້ອງທຸກສາມາດໄດ້ຮັບຄວາມນິຍົມ. ລາວຊີ້ໃຫ້ເຫັນການສະໜັບສະໜູນຈາກສອງຝ່າຍໃນສະພາສຳລັບການຄວບຄຸມຄວາມເສຍຫາຍຂອງສື່ສັງຄົມ, ລວມທັງການຜ່ານ Kids Online Safety Act (KOSA) ຂອງສະພາສູງໃນປີທີ່ຜ່ານມາ. (ສະພາຕ່ຳບໍ່ໄດ້ລົງຄະແນນສຽງໃນຮ່າງກົດໝາຍ).

“AI companions ສ້າງຄວາມສ່ຽງທີ່ເປັນເອກະລັກສຳລັບສັງຄົມ, ວັດທະນະທຳ, ແລະ ໄວລຸ້ນຂອງພວກເຮົາ,” ລາວກ່າວ. “ຂ້ອຍຄິດວ່າສິ່ງນັ້ນກະຕຸ້ນໃຫ້ທຸກຄົນ.”

“`