Не е страхотно, но не е лошо, нали?
Работниците експериментират с ChatGPT за задачи като писане на имейли, създаване на код или дори завършване на преглед в края на годината. Ботът използва данни от интернет, книги и Wikipedia, за да създаде разговорни отговори. Но технологията не е перфектна. Нашите тестове установиха, че понякога предлага отговори, които потенциално включват плагиатство, противоречат си, са фактически неверни или имат граматически грешки, за да назовем само няколко – всички от които могат да бъдат проблематични при работа.
ChatGPT е основно система за предсказуем текст, подобна, но по-добра от тези, вградени в приложенията за текстови съобщения на вашия телефон, казва Джейкъб Андреас, асистент в Лабораторията по компютърни науки и изкуствен интелект на MIT, който изучава обработката на естествен език. Докато това често дава отговори, които звучат добресъдържанието може да има някои проблеми, каза той.
„Ако погледнете някои от тези наистина дълги есета, генерирани от ChatGPT, е много лесно да видите места, където те си противоречат“, каза той. „Когато го помолите да генерира код, той е най-вече правилен, но често има грешки.“
Искахме да знаем колко добре ChatGPT може да се справи с ежедневните офис задачи. Ето какво открихме след тестове в пет категории.
Подканихме ChatGPT да отговори на няколко различни типа входящи съобщения.
В повечето случаи AI дава сравнително подходящи отговори, въпреки че повечето са многословни. Например, когато отговарях на колега от Slack, питайки как минава денят ми, беше повтарящо се: „@[Colleague], Благодаря че попита! Денят ми върви добре, благодаря за запитването.”
Ботът често оставяше фрази в скоби, когато не беше сигурен за какво или кого се отнася. Той също така прие подробности, които не бяха включени в подканата, което доведе до някои фактически неверни твърдения за моята работа.
В един случай той каза, че не може да изпълни задачата, като каза, че „няма възможността да получава имейли и да отговаря на тях“. Но когато беше подканен от по-обща заявка, той даде отговор.
Изненадващо, ChatGPT успя да генерира сарказъм, когато беше подканен да отговори на колега, питащ дали Big Tech върши добре работата.
Един от начините, по който хората използват генеративен AI, е да измислят нови идеи. Но експертите предупреждават, че хората трябва да бъдат внимателни, ако използват ChatGPT за това на работа.
„Не разбираме до каква степен това е просто плагиатство“, каза Андреас.
Възможността за плагиатство беше ясна, когато подканихме ChatGPT да разработи идеи за история на моя ритъм. Едно предложение, по-специално, беше за идея за история и ъгъл, които вече бях разгледал. Въпреки че не е ясно дали чатботът дърпа от предишните ми истории, други като него или просто генерира идея въз основа на други данни в интернет, фактът остава: идеята не беше нова.
„Хубаво е да звучи човешки, но действителното съдържание и идеи обикновено са добре познати“, каза Хатим Рахман, асистент в Училището по мениджмънт Kellogg на Северозападния университет, който изучава въздействието на изкуствения интелект върху работата. „Те не са нови прозрения.“
Друга идея беше остаряла, изследвайки история, която днес би била фактически невярна. ChatGPT казва, че има „ограничени познания“ за всичко след 2021 г.
Предоставянето на повече подробности в подканата доведе до по-фокусирани идеи. Въпреки това, когато помолих ChatGPT да напише някои „странни“ или „забавни“ заглавия, резултатите бяха ужасяващи и донякъде безсмислени.
Навигиране в трудни разговори
Някога имали ли сте колега, който говори твърде високо, докато се опитвате да работите? Може би вашият шеф е домакин на твърде много срещи, намалявайки времето ви за концентрация?
Тествахме ChatGPT, за да видим дали може да помогне за навигиране в трудни ситуации на работното място като тези. В по-голямата си част ChatGPT създаде подходящи отговори, които биха могли да послужат като чудесни отправни точки за работниците. Въпреки това, те често бяха малко многословни, формулирани и в един случай пълно противоречие.
„Тези модели не разбират нищо“, каза Рахман. „Основната технология разглежда статистическите корелации… Така че ще ви даде формулирани отговори.“
Изготвената от него бележка за уволнение може лесно да издържи и в някои случаи да се справи по-добре от известията, които компаниите изпращаха през последните години. Без подкана, ботът цитира „настоящия икономически климат и въздействието на пандемията“ като причини за съкращенията и съобщи, че компанията разбира „колко трудна може да бъде тази новина за всички“. Той предполага, че съкратените работници ще имат подкрепа и ресурси и, както е подканен, мотивира екипа, като казва, че „ще излязат от това по-силни“.
При справянето с трудни разговори с колеги, ботът ги поздравява, внимателно се отнася към проблема и смекчава доставката, като казва „разбирам“ намерението на човека и завършва бележката с искане за обратна връзка или допълнителна дискусия.
Но в един случай, когато беше помолен да каже на колега да понижи гласа си при телефонни обаждания, той напълно не разбра подканата.
Тествахме също така дали ChatGPT може да генерира екипни актуализации, ако му предоставим ключови точки, които трябва да бъдат съобщени.
Първоначалните ни тестове отново дадоха подходящи отговори, въпреки че бяха формулирани и донякъде монотонни. Въпреки това, когато посочихме „развълнуван“ тон, формулировката стана по-небрежна и включваше удивителни знаци. Но всяка бележка звучеше много подобно дори след промяна подканата.
„Това е както структурата на изречението, но още повече връзката на идеите“, каза Рахман. „Много е логично и формулирано… прилича на есе в гимназията.“
Както и преди, той прави предположения, когато му липсва необходимата информация. Стана проблематично, когато не знаеше кои местоимения да използва за моя колега — грешка, която може да сигнализира на колегите, че или не съм написал бележката, или че не познавам много добре членовете на моя екип.
Писането на доклади за самооценка в края на годината може да предизвика страх и безпокойство у някои, което води до рецензия, която сама по себе си не се продава.
Подаването на ясни постижения на ChatGPT, включително ключови точки от данни, доведе до възторжена рецензия за мен. Първият опит беше проблематичен, тъй като първоначалната подкана поиска самооценка за „Даниел Абрил“, а не за „аз“. Това доведе до рецензия от трето лице, която звучеше сякаш идва от Elmo на Sesame Street.
Превключването на подканата към искане на преглед за „мен“ и „моите“ постижения доведе до комплиментиращи фрази като „Постоянно демонстрирах силна способност“, „Винаги съм готов да измина допълнителната миля“, „Бях актив за екипът“ и „Гордея се с приноса, който направих“. Той също така включва намигване към бъдещето: „Уверен съм, че ще продължа да давам ценен принос.“
Някои от акцентите бяха малко общи, но като цяло това беше блестящ преглед, който може да послужи като добра рубрика. Ботът даде подобни резултати, когато беше помолен да напише мотивационни писма. ChatGPT обаче имаше една голяма грешка: неправилно прие длъжността ми.
Полезен ли беше ChatGPT за обичайни работни задачи?
Помагаше, но понякога грешките му причиняваха повече работа, отколкото ръчното изпълнение на задачата.
ChatGPT послужи като страхотна отправна точка в повечето случаи, предоставяйки полезна реч и първоначални идеи. Но също така доведе до отговори с грешки, фактически невярна информация, излишни думи, плагиатство и неправилна комуникация.
„Виждам, че е полезно … но само доколкото потребителят желае да провери изхода“, каза Андреас. „Не е достатъчно да го оставим извън релсите и да изпращаме имейли до вашите колеги.“