Генерираният от ChatGPT текст вече може да бъде идентифициран през 99% от времето

Какво трябва да знаете

• Изследователски екип е на прага на пробив с инструмент AI Detector, който може да идентифицира текст, генериран от ChatGPT, и обещава 99% точност.
• Изследователите подлагат инструмента на различни тестове, включително използването му за разграничаване на текст, генериран от AI, от човешко съдържание.
• Резултатите бяха впечатляващи, но инструментът погрешно класифицира няколко документа като генерирани от AI, когато в действителност те бяха написани от хора.
• Изследователите разположиха XGBoost за всички експерименти и тестове, които разчитаха на R пакета, xGBoost, който предостави усъвършенстван начин за измерване на оптимизацията на модела.

---

Появата на генеративен AI и, по-специално, ChatGPT разкри невероятни възможности, позволявайки на потребителите да изследват неизползван потенциал, но има и своите неуспехи в еднаква степен. Безопасността и поверителността на AI са едни от най-големите притеснения сред потребителите, които пречат на технологията да реализира пълния си потенциал. Въпреки това,

Президентът Байдън наскоро издаде изпълнителна заповед справяне с някои от тези проблеми.

Автентичността и точността също са част от тези опасения. Ако последните доклади, цитиращи това ChatGPT става все по-тъп и загуба на точност има нещо, което трябва да се направи, тогава тези опасения са основателни. До сега няма огнеупорна алея които могат да бъдат изследвани за откриване на генериран от AI текст с безпрецедентна точност.

За щастие, група изследователи е на ръба на пробив, който изглежда прави по-лесно е да се идентифицира текст, генериран от AI. Със значителни актуализации, доставяни до базирани на AI чатботове като Чат в Bing и ChatGPT толкова често става все по-трудно да се демистифицира текстът, генериран с помощта на тези инструменти, от човешки текст.

Според доклада, AI детекторът е проектиран да определя текст, генериран от AI, в научни списания. Провеждането на тестове на този вид списания е сериозно начинание, в зависимост от сложността на темата и наличието на информация в мрежата.

Според изследователите AI детекторът е бил използван, за да помогне за разграничаването на човешки писатели от ChatGPT (GPT-3.5). Освен това те разкриха, че методологията зависи от 20 функции и алгоритъм за машинно обучение, който не включва мярка за „объркване“. Това е така, защото те го класифицираха като „проблематична метрика“, която би въвела пристрастия към неговорещите английски език в други инструменти.

Освен това моделът демонстрира 99% точност при разграничаване на човешко писане от текстове, произведени от ChatGPT, и значително превъзхожда GPT-2 Output Detector, софтуер за откриване на AI, който се предлага от OpenAI, създателите на ChatGPT.

Наскоро научихме това OpenAI работеше върху нов инструмент, който помага на потребителите да идентифицират изображения, генерирани от AI. Компанията обеща 99 процента точност, въпреки че все още не е ясно кога ще бъде доставена за широка наличност.

Изследователите признават, че обхватът на оригиналната работа е бил ограничен, тъй като са тествали само един тип подкана от едно списание. Освен това, това не беше изключително списание по химия, да не говорим, че беше тестван само един езиков модел.

Според изследователите:

„... ние радикално разширяваме приложимия обхват на нашия наскоро описан AI детектор, като го прилагаме към нови обстоятелства с променливост в човешкия писане, включително от 13 различни списания и 3 различни издателя, променливост в подканите на AI и променливост в модела за генериране на AI текст използвани. Използвайки същите 20 функции, както е описано по-рано, ние обучаваме класификатор XGBoost с примерни човешки текстове и сравнителен AI текст. След това оценяваме модела, като използваме нови примери за човешко писане, множество предизвикателни AI подкани и както GPT-3.5, така и GPT-4, за да създадем AI текст."

AI детекторът обещава 99% точност

Изследователите посочиха, че тестовете показват, че тяхната методология е проста и ефективна. Те подчертаха, че инструментът демонстрира 98%–100% точност при идентифициране на генериран от AI текст, но това зависи от подканата и модела.

Изследователите посочиха, че инструментът натрупва мили пред актуализирания класификатор на OpenAI, който варира между 10% до 56% по точност. Освен това изследователите разкриха, че целта зад това проучване и изобретение е да се предостави на научната общност път, който им позволява да оцени "инфилтрацията на ChatGPT в списанията по химия, идентифицира последствията от използването му и бързо въведе стратегии за смекчаване при проблеми ставам."

Какво са използвали изследователите като класификатор за тестове?

Изследователите разположиха XGBoost за всички експерименти и тестове, които разчитаха на R пакета, xgboost. Той предостави усъвършенстван начин за измерване на оптимизацията на модела, тъй като точността на ниво абзац беше измерена с помощта на кръстосано валидиране на пропуск едно въведение в обучителния набор.

Изследователският екип заяви, че:

„В тази парадигма всички данни за обучение, с изключение на тези, произлизащи от параграфите на въведението, които трябва да бъдат класифицирани, ще бъдат използвани за изграждане на класификационен модел. След това този модел ще бъде използван за класифициране на всички абзаци от изоставеното въведение."

Проучването подчертава, че тези условия "произведоха най-добрата цялостна точност на ниво параграф", която след това беше използвана във всички тестове.

Обещаващи ли са резултатите?

Разбира се, AI Detector публикува впечатляващи резултати, но има място за подобрение. Технологията е сравнително нова, така че пропускът от грешки беше очакван. Но все пак грешното класифициране на 6% от тествания човешки текст повдига вежди.

Потребителите на Reddit в r/science subreddit изрази основателна загриженост по този въпрос. Загрижен потребител представи хипотетична ситуация, при която този инструмент е използван в училище, заявявайки, че резултатите показват, че от всеки 100 студента, 6 от тях ще бъдат лъжливо обвинени, че използват инструменти, базирани на AI, за да направят своите курсова работа. И всички знаем значителните неуспехи, които идват с изпращането на работа, която сте вдигнали от някъде другаде.

Това доказва важността на наличието на надеждни и точни инструменти като AI Detector, но в същото време е почти невъзможно да се твърди точността на тези инструменти. Друг потребител представи случай, при който фасилитатор на курс е маркирал задание като генерирано от AI. Все пак, след споделяне на това проучване с учителя и дори използване на инструмента за преминаване през учебната програма, то беше маркирано като съдържание, генерирано от AI.

Въпреки че това беше наистина гладко бръснене, какво се случва, когато не можете да архивирате твърденията си? Мислите ли, че ще се стигне до момент, в който AI детекторите могат да обещаят абсолютна точност? Моля, споделете мислите си с нас в коментарите.