Il testo generato da ChatGPT ora può essere identificato il 99% delle volte

Cosa hai bisogno di sapere

• Un gruppo di ricerca è sull'orlo di una svolta con uno strumento AI Detector in grado di identificare il testo generato da ChatGPT e promette una precisione del 99%.
• I ricercatori hanno sottoposto lo strumento a vari test, incluso l’utilizzo per differenziare il testo generato dall’intelligenza artificiale dal contenuto umano.
• I risultati sono stati impressionanti, ma lo strumento ha classificato erroneamente un paio di documenti come generati dall’intelligenza artificiale quando, in realtà, sono stati scritti da esseri umani.
• I ricercatori hanno implementato XGBoost per tutti gli esperimenti e i test, che si basavano sul pacchetto R, xGBoost, che forniva un modo sofisticato per valutare l’ottimizzazione del modello.

---

L'emergenza di IA generativa e, in particolare, ChatGPT ha offerto incredibili opportunità, consentendo agli utenti di esplorare il potenziale non sfruttato, ma presenta anche i suoi insuccessi in egual misura. La sicurezza e la privacy dell’intelligenza artificiale sono alcune delle principali preoccupazioni degli utenti, impedendo alla tecnologia di realizzare il suo pieno potenziale. Tuttavia,

Il presidente Biden ha recentemente emesso un ordine esecutivo affrontare alcune di queste preoccupazioni.

Anche l’autenticità e l’accuratezza fanno parte di queste preoccupazioni. Se i rapporti recenti lo citano ChatGPT sta diventando più stupido E perdendo precisione sono valide, allora queste preoccupazioni sono valide. Finora non c'è viale ignifugo che può essere esplorato per rilevare il testo generato dall’intelligenza artificiale con una precisione senza precedenti.

Fortunatamente, un gruppo di ricercatori è sull’orlo di una svolta, che sembra realizzarsi è più semplice identificare il testo generato dall'intelligenza artificiale. Con aggiornamenti significativi forniti a chatbot basati sull'intelligenza artificiale come BingChat E ChatGPT sempre più spesso diventa sempre più difficile demistificare il testo generato utilizzando questi strumenti a partire da testo umano.

Secondo il rapporto, il rilevatore AI è progettato per determinare il testo generato dall'IA nelle riviste scientifiche. Eseguire test su questo tipo di riviste è un'impresa seria, a seconda della complessità dell'argomento e della disponibilità delle informazioni sul web.

Secondo i ricercatori, il rilevatore AI è stato utilizzato per aiutare a distinguere gli scrittori umani da ChatGPT (GPT-3.5). Hanno inoltre rivelato che la metodologia dipendeva da 20 funzionalità e da un algoritmo di apprendimento automatico, che non prevedeva una misura di “perplessità”. Questo perché l'hanno classificato come una "metrica problematica", che introdurrebbe pregiudizi verso i non madrelingua inglesi in altri strumenti.

Inoltre, il modello dimostra un'accuratezza del 99% nel differenziare la scrittura umana dai testi prodotti da ChatGPT supera significativamente le prestazioni del GPT-2 Output Detector, il software di rilevamento AI offerto da OpenAI, creatori di ChatGPT.

Lo abbiamo appreso di recente OpenAI stava lavorando un nuovo strumento per aiutare gli utenti a identificare le immagini generate dall'intelligenza artificiale. L'azienda ha promesso una precisione del 99%, anche se non è ancora chiaro quando sarà disponibile su larga scala.

I ricercatori ammettono che la portata del lavoro originale era limitata, poiché hanno testato solo un tipo di suggerimento da una rivista. Inoltre, non era esclusivamente una rivista di chimica, per non parlare del fatto che è stato testato un solo modello linguistico.

Secondo i ricercatori:

"...espandiamo radicalmente la portata applicabile del nostro rilevatore AI recentemente descritto applicandolo a nuove circostanze con variabilità nell'uomo scrittura, inclusa quella di 13 riviste diverse e 3 editori diversi, variabilità nei suggerimenti dell'intelligenza artificiale e variabilità nel modello di generazione del testo dell'intelligenza artificiale usato. Utilizzando le stesse 20 funzionalità descritte in precedenza, addestriamo un classificatore XGBoost con testi umani di esempio e testo AI comparatore. Quindi valutiamo il modello utilizzando nuovi esempi di scrittura umana, molteplici suggerimenti AI stimolanti e sia GPT-3.5 che GPT-4 per produrre il testo AI."

Il rilevatore AI promette una precisione del 99%.

I ricercatori hanno indicato che i test hanno dimostrato che la loro metodologia era semplice ed efficace. Hanno sottolineato che lo strumento mostrava una precisione del 98%-100% nell’identificazione del testo generato dall’intelligenza artificiale, ma ciò dipendeva dal prompt e dal modello.

I ricercatori hanno indicato che lo strumento è molto più avanti rispetto al classificatore aggiornato di OpenAI, che varia dal 10% al 56% in termini di precisione. I ricercatori hanno inoltre rivelato che l’obiettivo alla base di questo studio e dell’invenzione è fornire alla comunità scientifica una strada che gli consenta di farlo valutare "l'infiltrazione di ChatGPT nelle riviste di chimica, identificare le conseguenze del suo utilizzo e introdurre rapidamente strategie di mitigazione quando i problemi presentarsi."

Cosa hanno utilizzato i ricercatori come classificatore per i test?

I ricercatori hanno implementato XGBoost per tutti gli esperimenti e i test, che si basavano sul pacchetto R, xgboost. Ha fornito un modo sofisticato per valutare l'ottimizzazione del modello, poiché l'accuratezza a livello di paragrafo è stata misurata utilizzando la convalida incrociata "lascia una introduzione" sul set di addestramento.

Il gruppo di ricerca ha affermato che:

"In questo paradigma, tutti i dati formativi, ad eccezione di quelli provenienti dai paragrafi dell'introduzione da classificare, verrebbero sfruttati per costruire un modello di classificazione. Questo modello verrebbe quindi utilizzato per classificare tutti i paragrafi dall'introduzione tralasciata."

Lo studio evidenzia che queste condizioni "hanno prodotto la migliore precisione complessiva a livello di paragrafo", che è stata poi utilizzata in tutti i test.

I risultati sono promettenti?

Certo, il rilevatore AI ha registrato risultati impressionanti, ma c'è margine di miglioramento. La tecnologia è relativamente nuova, quindi era previsto un divario di errore. Tuttavia, classificare erroneamente il 6% del testo umano testato fa alzare le sopracciglia.

Utenti Reddit nel subreddit r/science sollevare preoccupazioni fondate su questo problema. Un utente preoccupato ha presentato una situazione ipotetica in cui questo strumento è stato utilizzato a scuola, affermando che i risultati indicano che su 100 studenti, 6 di loro sarebbero falsamente accusati di sfruttare strumenti basati sull’intelligenza artificiale per svolgere le proprie attività corsi. E conosciamo tutti gli ostacoli significativi che derivano dall'invio di lavori che hai raccolto da qualche altra parte.

Ciò dimostra l'importanza di disporre di strumenti affidabili e accurati come AI Detector, ma allo stesso tempo è quasi impossibile affermare l'accuratezza di questi strumenti. Un altro utente ha presentato un caso in cui un facilitatore del corso aveva contrassegnato un compito come generato dall'intelligenza artificiale. Tuttavia, dopo aver condiviso questo studio con l’insegnante e aver utilizzato lo strumento anche per scorrere il programma, è stato contrassegnato come contenuto generato dall’intelligenza artificiale.

Anche se questa è stata una rasatura davvero ravvicinata, cosa succede quando non puoi sostenere le tue affermazioni? Pensi che si arriverà a un punto in cui i rilevatori di intelligenza artificiale potranno promettere una precisione assoluta? Per favore condividi i tuoi pensieri con noi nei commenti.