Textul generat de ChatGPT poate fi acum identificat în 99% din timp

Ce trebuie sa stii

• O echipă de cercetare este în pragul unei descoperiri cu un instrument AI Detector care poate identifica textul generat de ChatGPT și promite o acuratețe de 99%.
• Cercetătorii au trecut instrumentul prin diverse teste, inclusiv folosindu-l pentru a diferenția textul generat de AI de conținutul uman.
• Rezultatele au fost impresionante, dar instrumentul a clasificat greșit câteva documente ca fiind generate de AI, când, în realitate, au fost scrise de oameni.
• Cercetătorii au implementat XGBoost pentru toate experimentele și testele, care s-au bazat pe pachetul R, xGBoost, care a oferit un mod sofisticat de a evalua optimizarea modelului.

---

Apariția lui IA generativă și, în special, ChatGPT a adus oportunități incredibile, permițând utilizatorilor să exploreze potențialul neexploatat, dar are și eșecuri în egală măsură. Siguranța și confidențialitatea AI sunt unele dintre principalele preocupări ale utilizatorilor, împiedicând tehnologia să-și realizeze întregul potențial. In orice caz,

Președintele Biden a emis recent un ordin executiv abordând unele dintre aceste preocupări.

Autenticitatea și acuratețea fac, de asemenea, parte din aceste preocupări. Dacă rapoartele recente care citează asta ChatGPT devine din ce în ce mai prost și pierderea preciziei sunt orice, atunci aceste preocupări sunt valabile. Până acum, nu există bulevardul ignifug care pot fi explorate pentru a detecta textul generat de AI cu o acuratețe fără precedent.

Din fericire, un grup de cercetători este pe punctul de a face o descoperire, aparent de făcut este mai ușor să identifici textul generat de AI. Cu actualizări semnificative, expediate către chatbot-uri bazați pe inteligență artificială, cum ar fi Bing Chat și ChatGPT din ce în ce mai des, devine din ce în ce mai greu să demistificăm textul generat folosind aceste instrumente din text uman.

Conform raportului, detectorul AI este conceput pentru a determina textul generat de AI în reviste științifice. Efectuarea de teste pe acest tip de reviste este o sarcină serioasă, în funcție de complexitatea subiectului și de disponibilitatea informațiilor pe web.

Potrivit cercetătorilor, detectorul AI a fost folosit pentru a ajuta la deosebirea scriitorilor umani de ChatGPT (GPT-3.5). Ei au dezvăluit în continuare că metodologia depindea de 20 de caracteristici și de un algoritm de învățare automată, care nu conținea o măsură de „perplexitate”. Acest lucru se datorează faptului că au clasificat-o drept o „metrică problematică”, ceea ce ar introduce părtinire față de vorbitorii non-nativi de engleză în alte instrumente.

În plus, modelul demonstrează o acuratețe de 99% în diferențierea scrisului uman de textele produse de ChatGPT și depășește semnificativ GPT-2 Output Detector, software-ul de detectare AI care a fost oferit de OpenAI, creatorii ChatGPT.

Am aflat recent asta OpenAI lucra la un nou instrument pentru a ajuta utilizatorii să identifice imaginile generate de AI. Compania a promis o precizie de 99 la sută, deși nu este încă clar când va fi livrat cu disponibilitate largă.

Cercetătorii admit că domeniul de aplicare al lucrării originale a fost limitat, deoarece au testat doar un tip de prompt dintr-un jurnal. Mai mult, nu a fost un jurnal de chimie exclusiv, ca să nu mai vorbim că a fost testat un singur model de limbă.

Potrivit cercetătorilor:

„... extindem radical domeniul de aplicare al detectorului nostru AI descris recent, aplicându-l în circumstanțe noi, cu variabilitate a oamenilor. scriere, inclusiv din 13 reviste diferite și 3 editori diferite, variabilitate în solicitările AI și variabilitatea modelului de generare a textului AI folosit. Folosind aceleași 20 de caracteristici descrise anterior, antrenăm un clasificator XGBoost cu exemple de texte umane și text comparator AI. Apoi evaluăm modelul utilizând noi exemple de scriere umană, multiple solicitări provocatoare AI și atât GPT-3.5, cât și GPT-4 pentru a produce textul AI.”

Detectorul AI promite o precizie de 99%.

Cercetătorii au indicat că testele au demonstrat că metodologia lor a fost simplă și eficientă. Ei au subliniat că instrumentul a prezentat o precizie de 98%–100% atunci când identifica textul generat de AI, dar acest lucru depindea de prompt și model.

Cercetătorii au indicat că instrumentul se află la kilometri înaintea clasificatorului actualizat al OpenAI, care variază între 10% și 56% în precizie. Cercetătorii au dezvăluit în continuare că scopul din spatele acestui studiu și invenție este de a oferi comunității științifice o cale care să le permită să evalueze „infiltrarea ChatGPT în reviste de chimie, să identifice consecințele utilizării acestuia și să introducă rapid strategii de atenuare atunci când există probleme. apărea."

Ce au folosit cercetătorii ca clasificator pentru teste?

Cercetătorii au implementat XGBoost pentru toate experimentele și testele, care s-au bazat pe pachetul R, xgboost. Acesta a oferit o modalitate sofisticată de a evalua optimizarea modelului, deoarece acuratețea la nivel de paragraf a fost măsurată utilizând validarea încrucișată lasă-one-introducere-out pe setul de antrenament.

Echipa de cercetare a declarat că:

„În această paradigmă, toate datele de antrenament, cu excepția celor care provin din paragrafele din introducere care urmează să fie clasificate, ar fi utilizate pentru a construi un model de clasificare. Acest model ar fi apoi folosit pentru a clasifica toate paragrafele din introducerea lăsată în afară.”

Studiul evidențiază că aceste condiții „au produs cea mai bună acuratețe generală la nivel de paragraf”, care a fost apoi utilizată în toate testele.

Sunt rezultatele promițătoare?

Desigur, detectorul AI a postat rezultate impresionante, dar există loc de îmbunătățire. Tehnologia este relativ nouă, așa că era de așteptat decalajul de eroare. Dar totuși, clasificarea greșită a 6% din textul uman testat ridică sprâncene.

Utilizatorii Reddit din r/subreddit știință ridică preocupări valabile cu privire la această problemă. Un utilizator îngrijorat a prezentat o situație ipotetică în care acest instrument a fost utilizat în școală, afirmând că rezultatele indică faptul că din 100 de studenți, 6 dintre ei ar fi acuzați în mod fals că folosesc instrumente bazate pe inteligență artificială pentru a-și face cursuri. Și știm cu toții eșecurile semnificative care vin odată cu trimiterea lucrărilor pe care le-ați ridicat din altă parte.

Acest lucru demonstrează importanța de a avea instrumente fiabile și precise, cum ar fi AI Detector, dar, în același timp, este aproape imposibil să se afirme acuratețea acestor instrumente. Un alt utilizator a prezentat un caz în care un facilitator de curs a semnalat o temă ca fiind generată de AI. Totuși, după ce a împărtășit acest studiu cu profesorul și chiar a folosit instrumentul pentru a parcurge programa, a fost semnalat ca conținut generat de AI.

Deși acesta a fost un bărbierit foarte atent, ce se întâmplă când nu îți poți susține afirmațiile? Crezi că se va ajunge într-un punct în care detectorii AI pot promite acuratețe absolută? Vă rugăm să vă împărtășiți gândurile cu noi în comentarii.