Текст који је генерисао ЦхатГПТ сада може да се идентификује у 99% времена

Оно што треба да знате

• Истраживачки тим је на ивици пробоја са алатком АИ Детецтор која може да идентификује текст генерисан у ЦхатГПТ-у и обећава 99% тачности.
• Истраживачи су ову алатку провели кроз различите тестове, укључујући коришћење за разликовање текста генерисаног вештачком интелигенцијом од људског садржаја.
• Резултати су били импресивни, али алат је погрешно класификовао неколико докумената као генерисане вештачком интелигенцијом када су их, у ствари, написали људи.
• Истраживачи су применили КСГБоост за све експерименте и тестове, који су се ослањали на Р пакет, кГБоост, који је обезбедио софистициран начин оптимизације модела мерења.

---

Појава генеративна АИ и, посебно, ЦхатГПТ је донео невероватне могућности, омогућавајући корисницима да истраже неискоришћени потенцијал, али има и своје недостатке у једнакој мери. Безбедност и приватност вештачке интелигенције су неке од највећих брига корисника, које спречавају технологију да оствари свој пуни потенцијал. Међутим, Председник Бајден је недавно издао извршну наредбу решавање неких од ових забринутости.

Аутентичност и тачност су такође део ових брига. Ако се недавни извештаји на то наводе ЦхатГПТ постаје све глупљи и губећи тачност да ли постоји нешто што треба проћи, онда су ове бриге валидне. До сада, нема ватроотпорна авенија који се може истражити да би се открио текст генерисан вештачком интелигенцијом са невиђеном тачношћу.

Срећом, група истраживача је на ивици пробоја, који наизглед прави лакше је идентификовати текст генерисан вештачком интелигенцијом. Са значајним ажурирањима која се испоручују за четботове са вештачком интелигенцијом као што су Бинг Цхат и ЦхатГПТ тако често, постаје све теже демистификовати текст генерисан помоћу ових алата из људског текста.

Према извештају, АИ детектор је дизајниран да одреди текст генерисан од вештачке интелигенције у научним часописима. Извођење тестова на оваквим часописима је озбиљан подухват, у зависности од сложености теме и доступности информација на вебу.

Према истраживачима, АИ детектор је коришћен да помогне у разликовању људских писаца од ЦхатГПТ-а (ГПТ-3.5). Они су даље открили да методологија зависи од 20 карактеристика и алгоритма машинског учења, који није имао меру „збуњености“. То је зато што су је класификовали као „проблематичну метрику“, која би у другим алатима увела пристрасност према говорницима енглеског који нису матерњи.

Штавише, модел показује 99% тачности у разликовању људског писања од текстова које производи ЦхатГПТ, и значајно надмашује ГПТ-2 Оутпут Детецтор, софтвер за детекцију АИ који је понудио ОпенАИ, произвођач ЦхатГПТ-а.

То смо недавно сазнали ОпенАИ радио на нови алат који помаже корисницима да идентификују слике генерисане вештачком интелигенцијом. Компанија је обећала 99 посто тачности, иако још није јасно када ће бити испоручена у широку доступност.

Истраживачи признају да је обим оригиналног рада био ограничен, јер су тестирали само једну врсту одзивника из једног часописа. Штавише, то није био искључиво часопис за хемију, а да не помињемо да је тестиран само један језички модел.

Према истраживачима:

„...радикално проширујемо применљив обим нашег недавно описаног детектора вештачке интелигенције применом на нове околности са варијабилношћу у људском писање, укључујући из 13 различитих часописа и 3 различита издавача, варијабилност у АИ упитима и варијабилност у моделу генерисања текста АИ коришћени. Користећи истих 20 карактеристика као што је претходно описано, тренирамо КСГБоост класификатор са примерима људских текстова и компаратор АИ текста. Затим процењујемо модел користећи нове примере људског писања, вишеструке изазовне АИ упите, и ГПТ-3.5 и ГПТ-4 да бисмо произвели АИ текст."

АИ детектор обећава 99% тачности

Истраживачи су навели да су тестови показали да је њихова методологија једноставна и ефикасна. Нагласили су да је алатка показала 98%–100% тачност приликом идентификовања текста генерисаног вештачком интелигенцијом, али то је зависило од одзива и модела.

Истраживачи су навели да је алатка километрима испред ОпенАИ-овог ажурираног класификатора, који се креће између 10% и 56% у прецизности. Истраживачи су даље открили да је циљ ове студије и проналаска да се научној заједници пружи пут који им омогућава да проценити „инфилтрацију ЦхатГПТ-а у хемијске часописе, идентификовати последице његове употребе и брзо увести стратегије за ублажавање када се појаве проблеми устати“.

Шта су истраживачи користили као класификатор за тестове?

Истраживачи су применили КСГБоост за све експерименте и тестове, који су се ослањали на Р пакет, кгбоост. Обезбеђивао је софистициран начин за мерење оптимизације модела, пошто је тачност на нивоу пасуса мерена коришћењем унакрсног валидације „остави један увод-изостави“ на скупу за обуку.

Истраживачки тим је изјавио да:

„У овој парадигми, сви подаци о обуци, осим оних који потичу из параграфа увода који треба да се класификују, били би искоришћени за изградњу модела класификације. Овај модел би се затим користио за класификацију свих параграфа из остављеног увода."

Студија наглашава да су ови услови „произвели најбољу укупну тачност на нивоу пасуса“, ​​која је затим коришћена у свим тестовима.

Да ли су резултати обећавајући?

Додуше, АИ Детецтор је објавио импресивне резултате, али има простора за побољшање. Технологија је релативно нова, тако да је грешка била очекивана. Али ипак, погрешна класификација 6% тестираног људског текста подиже обрве.

Корисници Реддита у р/сциенце субреддит изазивају оправдану забринутост у вези са овим питањем. Забринути корисник је изнео хипотетичку ситуацију где се овај алат користио у школи, наводећи да су резултати указују да би од сваких 100 ученика, њих 6 било лажно оптужено да користе алате са АИ да би рад на курсу. И сви знамо значајне застоје који долазе са подношењем посла који сте подигли са неког другог места.

Ово доказује важност поседовања поузданих и тачних алата као што је АИ детектор, али је у исто време готово немогуће потврдити тачност ових алата. Други корисник је представио случај где је водитељ курса означио задатак као генерисан вештачком интелигенцијом. Ипак, након што је ову студију поделио са наставником и чак користио алат за пролазак кроз наставни план и програм, означен је као садржај генерисан вештачком интелигенцијом.

Иако је ово било стварно бријање, шта се дешава када не можете подржати своје тврдње? Да ли мислите да ће доћи до тачке у којој детектори вештачке интелигенције могу обећати апсолутну тачност? Молимо вас да поделите своје мисли са нама у коментарима.