OpenAI, компанията за изкуствен интелект, която стои зад генератора на вирусен текст ChatGPT, пусна нов AI инструмент, предназначен да помогне за справяне с бъркотията, причинена от предишното му създаване. За съжаление не е много добре.
Компанията обяви безплатна уеб базирана джаджа за откриване на AI във вторник. Приложението е предназначено да класифицира текстови проби въз основа на това колко вероятно е те да са генерирани от изкуствен интелект спрямо написани от действително лице. Като се има предвид извадка от текст, той изхвърля една от пет възможни оценки: „Много малко вероятно да е генериран от AI“, „малко вероятно“, „неясно“, „възможно“ или „вероятно“.
Въпреки това, в собствените тестове на OpenAI, инструментът идентифицира правилно генерирания текст като „вероятно написан от AI“ около една четвърт от времето. Освен това, около един на всеки десет пъти класификаторът неправилно изброява създадени от човека думи като компютърно генерирани, отбелязва компанията в публикация в блог.
Според OpenAI, дори тези meh резултати са подобрение на предишния опит на компанията при откриването на AI-текст. И технологичният стартъп призна, че благодарение на собственото си изобретение ние трябва подобрение.
OpenAI признава, че ChatGPT е хвърлил усложняващ ключ в класните стаи, редакции и извън тях – където инструментът и други като него разпалиха страхове от необуздана измама, подвеждаща информация и нарушения на авторски права. В отговор компанията сега казва, че иска да помогне. „Ние осъзнаваме, че идентифицирането на текст, написан от AI, е важен въпрос за дискусия сред преподавателите и също толкова важно е признаването на ограниченията и въздействието на генерираните от AI текстови класификатори в класната стая“, каза компанията в своя блог във вторник. „Въпреки че този ресурс е фокусиран върху преподавателите, ние очакваме нашия класификатор и свързаните с него инструменти за класификатор да окажат влияние върху журналисти, изследователи на грешна/дезинформация и други групи.“
G/O Media може да получи комисионна
Но в сегашната си форма този нов инструмент за откриване вероятно все още не е достатъчно точен, за да отговори смислено на нарастващата загриженост относно активирания AI плагиатство, академична нечестности размножаването на дезинформация. „Нашият класификатор не е напълно надежден“, пише компанията. „Не трябва да се използва като основен инструмент за вземане на решения.“
С други думи, ако подозирате, че новинарска статия или задание в класната стая е генерирано от AI, каквото и да ви каже класификаторът на OpenAI, може или не може да е вярно.
В собствените тестове на Gizmodo класификаторът не даде особено впечатляващи резултати. С множество тестове на текст, генериран от AI, детекторът ми даде хладки резултати. „Вероятно генерирано от AI“, се казва за фалшива новинарска статия, която генерирах в ChatGPT малко по-рано.
Получих същия резултат, използвайки част от произведения от AI текст от удара на ChatGPT при писане статия за себе си.
В отговор на клип от статия на CNET произведени чрез „помощ[ance] от AI двигател“, детекторът на OpenAI ми каза, че е „малко вероятно“ да е генериран от AI.
Въпреки това, за заслуга на инструмента, в 10 или повече опита не получих фалшив положителен резултат за текст от наскоро публикувани статии на Gizmodo. Единственият отговор, който класификаторът даде на публикациите на Gizmodo, които тествах, беше „много малко вероятно генерирано от AI“. OpenAI отбеляза, че нарочно е коригирал прага на доверие, за да „запази честотата на фалшивите положителни резултати много ниска“ в уеб версията на своя нов AI-инструмент. Така че потенциално тази корекция работи добре. Въпреки че процентът от 9% фалшиви положителни резултати, който OpenAI самоотчита, все още е доста висок.
Някои допълнителни ограничения на инструмента включват, че той работи сносно само с английски, но не и с други езици, че текстът, написан с AI, може лесно да се редактира, за да се заобиколи класификаторът, и че само дългите текстови проби дават вид точни резултати с някаква надеждност, според компанията.
Теоретично обаче AI-детекторът трябва да става по-добър с повече употреба, тъй като самият той е базиран на AI. Класификаторът е езиков модел, обучен върху двойки текстови образци, генерирани от AI/написани от хора, по една и съща тема. И като отвори този етап от класификатора за обществеността, OpenAI се надява да получи обратна връзка за него и да „сподели подобрени методи в бъдеще“.
Gizmodo се свърза с OpenAI с въпроси относно новия си инструмент и беше насочен обратно към публикацията в блога.
Компанията не е първата, която опитва ръката си в откриването на AI. Студент, Едуард Тиен, наскоро освободен неговата собствена програма. И ако пишете за AI публично като този автор на Gizmodo, тогава ще знаете, че съобщенията за пресата, рекламиращи най-горещия нов софтуер за откриване на AI, изобилстват. Но като цяло, съществуващите инструменти изглежда не се справят толкова добре с напредващия марш на възможностите за производство на AI. Подобно на хората, автоматизирани AI детектори продължавайте да грешите нещатакато в едно скорошно проучване преди печат където автоматичен детектор не успя да засече текст, генериран от AI, повече от една трета от времето.
В крайна сметка е трудно да си представим как AI може да се научи да надхитри себе си, особено след като резултатите от генерирането на AI стават все по-убедителни. В опитите си да разработи надеждно откриване на AI, OpenAI влезе в надпревара със себе си. Колкото по-добър е AI генераторът на текст, толкова по-трудно трябва да бъде да се установи произходът на AI на получените изречения. И тъй като OpenAI вероятно се опитва да подобри ChatGPT в същото време, когато се опитва да подобри своя инструмент за откриване на класификация, изглежда като невъзможна надпревара за победа.