ข้อความที่สร้างโดย ChatGPT สามารถระบุได้ 99% ของเวลาทั้งหมด

สิ่งที่คุณต้องรู้

• ทีมวิจัยจวนจะถึงความก้าวหน้าด้วยเครื่องมือตรวจจับ AI ที่สามารถระบุข้อความที่สร้างโดย ChatGPT และรับประกันความแม่นยำ 99%
• นักวิจัยได้นำเครื่องมือนี้ผ่านการทดสอบต่างๆ รวมถึงการใช้เพื่อแยกแยะข้อความที่สร้างโดย AI จากเนื้อหาของมนุษย์
• ผลลัพธ์นั้นน่าประทับใจ แต่เครื่องมือนี้จัดประเภทเอกสารสองสามอย่างผิดประเภทว่าสร้างโดย AI ทั้งที่ในความเป็นจริงแล้ว เอกสารเหล่านั้นถูกเขียนโดยมนุษย์
• นักวิจัยได้ใช้ XGBoost สำหรับการทดลองและการทดสอบทั้งหมด ซึ่งใช้แพ็คเกจ R ซึ่งก็คือ xGBoost ซึ่งให้วิธีการที่ซับซ้อนในการปรับโมเดลการวัดให้เหมาะสมที่สุด

---

การเกิดขึ้นของ AI กำเนิด และที่น่าสังเกตก็คือ ChatGPT ได้นำโอกาสอันเหลือเชื่อมาให้ ซึ่งช่วยให้ผู้ใช้สามารถสำรวจศักยภาพที่ยังไม่ได้ใช้ แต่ก็ยังมีความล้มเหลวในระดับที่เท่าเทียมกัน ความปลอดภัยและความเป็นส่วนตัวของ AI คือข้อกังวลอันดับต้นๆ ของผู้ใช้ ซึ่งทำให้เทคโนโลยีไม่สามารถตระหนักถึงศักยภาพสูงสุดของตนได้ อย่างไรก็ตาม, ประธานาธิบดีไบเดนเพิ่งออกคำสั่งฝ่ายบริหาร จัดการกับข้อกังวลบางประการเหล่านี้

ความถูกต้องและความถูกต้องก็เป็นส่วนหนึ่งของข้อกังวลเหล่านี้เช่นกัน หากล่าสุดมีรายงานอ้างถึงว่า

ChatGPT เริ่มโง่มากขึ้น และ สูญเสียความแม่นยำ อะไรก็ตามที่ต้องผ่านไป ข้อกังวลเหล่านี้ก็ถือว่าถูกต้อง ถึงตอนนี้ก็ไม่มี ถนนทนไฟ ที่สามารถสำรวจเพื่อตรวจจับข้อความที่สร้างโดย AI ได้อย่างแม่นยำอย่างที่ไม่เคยมีมาก่อน

โชคดีที่กลุ่มนักวิจัยกำลังใกล้จะถึงความก้าวหน้าและดูเหมือนจะกำลังดำเนินการอยู่ ระบุข้อความที่สร้างโดย AI ได้ง่ายขึ้น. ด้วยการอัปเดตที่สำคัญที่จัดส่งไปยังแชทบอทที่ขับเคลื่อนด้วย AI เช่น บิงแชท และ ChatGPT บ่อยครั้งที่การทำให้ข้อความของมนุษย์เข้าใจได้ง่ายขึ้นมากขึ้นเรื่อยๆ

ตามรายงานเครื่องตรวจจับ AI ได้รับการออกแบบมาเพื่อระบุข้อความที่สร้างโดย AI ในวารสารทางวิทยาศาสตร์ การทำการทดสอบวารสารประเภทนี้ถือเป็นการดำเนินการที่จริงจัง ขึ้นอยู่กับความซับซ้อนของหัวข้อและความพร้อมของข้อมูลบนเว็บ

ตามที่นักวิจัยระบุว่า เครื่องตรวจจับ AI ถูกใช้เพื่อช่วยแยกแยะผู้เขียนที่เป็นมนุษย์จาก ChatGPT (GPT-3.5) พวกเขาเปิดเผยเพิ่มเติมว่าวิธีการนี้ขึ้นอยู่กับฟีเจอร์ 20 รายการและอัลกอริธึมการเรียนรู้ของเครื่อง ซึ่งไม่มีการวัด "ความฉงนสนเท่ห์" เนื่องจากพวกเขาจัดว่าเป็น "ตัวชี้วัดที่เป็นปัญหา" ซึ่งจะทำให้เกิดอคติต่อผู้พูดภาษาอังกฤษที่ไม่ใช่เจ้าของภาษาในเครื่องมืออื่นๆ

นอกจากนี้ แบบจำลองนี้ยังมีความแม่นยำ 99% ในการแยกแยะการเขียนของมนุษย์จากข้อความที่ผลิตโดย ChatGPT และ มีประสิทธิภาพเหนือกว่า GPT-2 Output Detector ซึ่งเป็นซอฟต์แวร์ตรวจจับ AI ที่นำเสนอโดย OpenAI ซึ่งเป็นผู้ผลิต ChatGPT อย่างมาก

เราเพิ่งได้เรียนรู้ว่า OpenAI กำลังทำงานอยู่ เครื่องมือใหม่ที่จะช่วยให้ผู้ใช้ระบุรูปภาพที่สร้างโดย AI. บริษัทให้คำมั่นสัญญาว่าจะมีความแม่นยำถึง 99 เปอร์เซ็นต์ แม้ว่าจะยังไม่ชัดเจนว่าจะจัดส่งให้ใช้งานได้ในวงกว้างเมื่อใด

นักวิจัยยอมรับว่าขอบเขตของงานต้นฉบับนั้นมีจำกัด เนื่องจากพวกเขาทดสอบการแจ้งเตือนเพียงประเภทเดียวจากวารสารฉบับเดียว ยิ่งไปกว่านั้น ไม่ใช่วารสารเคมีโดยเฉพาะ ไม่ต้องพูดถึงว่ามีการทดสอบแบบจำลองภาษาเดียวเท่านั้น

ตามที่นักวิจัย:

"...เราขยายขอบเขตการใช้งานของเครื่องตรวจจับ AI ที่เราอธิบายไปเมื่อเร็วๆ นี้อย่างรุนแรง โดยนำไปใช้กับสถานการณ์ใหม่ๆ ที่มีความแปรปรวนในมนุษย์ การเขียน รวมถึงจากวารสารที่แตกต่างกัน 13 ฉบับและผู้จัดพิมพ์ 3 แห่ง ความแปรปรวนในการแจ้งเตือน AI และความแปรปรวนในรูปแบบการสร้างข้อความ AI ใช้แล้ว. ด้วยการใช้คุณสมบัติ 20 รายการตามที่อธิบายไว้ก่อนหน้านี้ เราฝึกตัวแยกประเภท XGBoost ด้วยข้อความตัวอย่างของมนุษย์และข้อความ AI ของตัวเปรียบเทียบ จากนั้นเราจะประเมินโมเดลโดยใช้ตัวอย่างใหม่ของการเขียนโดยมนุษย์ ข้อความแจ้ง AI ที่ท้าทายหลายรายการ และทั้ง GPT-3.5 และ GPT-4 เพื่อสร้างข้อความ AI"

AI Detector รับประกันความแม่นยำ 99%

นักวิจัยระบุว่าการทดสอบแสดงให้เห็นว่าวิธีการของพวกเขาตรงไปตรงมาและมีประสิทธิภาพ พวกเขาเน้นย้ำว่าเครื่องมือนี้มีความแม่นยำ 98%–100% เมื่อระบุข้อความที่สร้างโดย AI แต่สิ่งนี้ขึ้นอยู่กับพรอมต์และโมเดล

นักวิจัยระบุว่าเครื่องมือนี้เหนือกว่าตัวแยกประเภทที่อัปเดตของ OpenAI หลายไมล์ ซึ่งมีความแม่นยำอยู่ระหว่าง 10% ถึง 56% นักวิจัยยังเปิดเผยเพิ่มเติมว่าเป้าหมายเบื้องหลังการศึกษาและการประดิษฐ์นี้คือเพื่อให้ชุมชนวิทยาศาสตร์มีช่องทางที่ทำให้พวกเขา ประเมิน "การแทรกซึมของ ChatGPT ลงในวารสารเคมี ระบุผลที่ตามมาของการใช้ และแนะนำกลยุทธ์การบรรเทาอย่างรวดเร็วเมื่อเกิดปัญหา ลุกขึ้น"

ผู้วิจัยใช้อะไรเป็นลักษณนามสำหรับการทดสอบ

นักวิจัยได้ใช้ XGBoost สำหรับการทดลองและการทดสอบทั้งหมดซึ่งใช้แพ็คเกจ R ซึ่งก็คือ xgboost โดยให้วิธีการที่ซับซ้อนในการวัดการปรับโมเดลให้เหมาะสม เนื่องจากความแม่นยำระดับย่อหน้าถูกวัดโดยใช้การตรวจสอบความถูกต้องข้ามแบบลา-หนึ่ง-แนะนำ-ออกในชุดการฝึกอบรม

ทีมวิจัยระบุว่า:

"ในกระบวนทัศน์นี้ ข้อมูลการฝึกอบรมทั้งหมด ยกเว้นข้อมูลที่มาจากย่อหน้าของบทนำที่จะจัดประเภท จะถูกนำมาใช้เพื่อสร้างแบบจำลองการจำแนกประเภท จากนั้นโมเดลนี้จะถูกนำมาใช้เพื่อจำแนกย่อหน้าทั้งหมดจากบทนำที่ทิ้งไว้"

การศึกษาเน้นย้ำว่าเงื่อนไขเหล่านี้ "สร้างความแม่นยำระดับย่อหน้าโดยรวมที่ดีที่สุด" ซึ่งจากนั้นจึงนำไปใช้กับการทดสอบทั้งหมด

ผลลัพธ์มีแนวโน้มหรือไม่?

เป็นที่ยอมรับกันว่า AI Detector โพสต์ผลลัพธ์ที่น่าประทับใจ แต่ยังมีสิ่งที่ต้องปรับปรุงอีก เทคโนโลยีนี้ค่อนข้างใหม่ ดังนั้นจึงคาดว่าจะมีช่องว่างของข้อผิดพลาด แต่ถึงกระนั้น การจัดประเภทข้อความของมนุษย์ที่ทดสอบผิด 6% ก็ทำให้เลิกคิ้ว

ผู้ใช้ Reddit ใน r / วิทยาศาสตร์ subreddit แจ้งข้อกังวลที่ถูกต้องเกี่ยวกับปัญหานี้ ผู้ใช้ที่เกี่ยวข้องนำเสนอสถานการณ์สมมติที่มีการใช้เครื่องมือนี้ในโรงเรียน โดยระบุว่าผลลัพธ์ ระบุว่าจากนักเรียนทุกๆ 100 คน มี 6 คนในนั้นจะถูกกล่าวหาอย่างไม่ถูกต้องว่าใช้เครื่องมือที่ขับเคลื่อนด้วย AI เพื่อทำงานของตน งานหลักสูตร และเราทุกคนรู้ดีถึงความพ่ายแพ้ที่สำคัญที่มาพร้อมกับการส่งงานที่คุณยกมาจากที่อื่น

สิ่งนี้พิสูจน์ให้เห็นถึงความสำคัญของการมีเครื่องมือที่เชื่อถือได้และแม่นยำ เช่น AI Detector แต่ในขณะเดียวกัน แทบจะเป็นไปไม่ได้เลยที่จะยืนยันความแม่นยำของเครื่องมือเหล่านี้ ผู้ใช้รายอื่นนำเสนอกรณีที่วิทยากรหลักสูตรตั้งค่าสถานะการบ้านว่าสร้างขึ้นโดย AI อย่างไรก็ตาม หลังจากแบ่งปันการศึกษานี้กับครูและแม้กระทั่งใช้เครื่องมือเพื่อดำเนินการตามหลักสูตร เนื้อหาดังกล่าวก็ถูกทำเครื่องหมายว่าเป็นเนื้อหาที่สร้างโดย AI

แม้ว่านี่จะเป็นการโกนที่แนบเนียนมาก จะเกิดอะไรขึ้นเมื่อคุณไม่สามารถสำรองการเคลมของคุณได้? คุณคิดว่ามันจะไปถึงจุดที่เครื่องตรวจจับ AI สามารถรับประกันความถูกต้องแม่นยำได้หรือไม่ เพราะเหตุใด กรุณาแบ่งปันความคิดของคุณกับเราในความคิดเห็น