AI高手vs普通員工：140萬(wàn)條對(duì)話揭示出4個(gè)關(guān)鍵差異

AI正在迅速改變工作，領(lǐng)導(dǎo)者難以清晰闡述其組織將如何適應(yīng)，這是可以理解的。這是因?yàn)槿狈?duì)"優(yōu)秀"標(biāo)準(zhǔn)的明確定義。頂尖的AI使用者在與AI工具協(xié)作時(shí)展現(xiàn)出顯著的敏捷性和靈活性。他們更可能在模型間切換，利用多個(gè)AI平臺(tái)，并將日益復(fù)雜的多步驟任務(wù)委派給AI，這反映出一種更成熟的、將AI視為動(dòng)態(tài)協(xié)作者而非單一用途工具的心智模型。

企業(yè)正迅速將AI工具交到員工手中。然而，盡管投入巨大，許多領(lǐng)導(dǎo)者仍在努力評(píng)估其成效。AI是否切實(shí)提升了工作質(zhì)量、速度與雄心？它是否增強(qiáng)了專業(yè)判斷力？誰(shuí)在用AI方面取得了成功，原因何在？成功的應(yīng)用究竟是何面貌？

由于目前還沒(méi)有大規(guī)模適用的工具和框架來(lái)衡量員工的定性成果，大多數(shù)組織缺乏明確的、基于行為的信號(hào)來(lái)表明人工智能是否產(chǎn)生了積極影響。在缺乏有效信號(hào)時(shí)，領(lǐng)導(dǎo)者往往退而求其次，選擇最易量化的表層指標(biāo)：使用頻次、在線時(shí)長(zhǎng)、提示詞數(shù)量、消耗的token量以及員工自評(píng)的技能水平，這些便成了衡量AI應(yīng)用進(jìn)展的替代性指標(biāo)。換句話說(shuō)，他們衡量的是活動(dòng)量，而非應(yīng)用水平或?qū)嶋H影響力。

不足為奇，績(jī)效提升參差不齊，領(lǐng)導(dǎo)者難以就員工如何利用AI提升績(jī)效提供具體指導(dǎo)。沒(méi)有更有效的衡量方式，領(lǐng)導(dǎo)者就無(wú)法判斷哪些行為需要強(qiáng)化，哪些需要教導(dǎo)，哪些需要摒棄。

為了解常規(guī)AI使用與高級(jí)人機(jī)協(xié)作之間的區(qū)別，畢馬威與德克薩斯大學(xué)奧斯汀分校的研究人員合作。我們共同分析了在八個(gè)月期間，由約2500名員工生成的超過(guò)140萬(wàn)條AI提示詞與回復(fù)。通過(guò)這項(xiàng)分析，我們建立了一個(gè)基于提示詞工程的高級(jí)使用定義——強(qiáng)調(diào)清晰的提示詞加上有意識(shí)應(yīng)用的策略——并發(fā)掘了一組低成本、可觀察的指標(biāo)，例如模型切換和結(jié)構(gòu)化的初始提示詞，這些指標(biāo)可預(yù)測(cè)高水平使用。這些洞察正被系統(tǒng)性地融入畢馬威的人才發(fā)展、學(xué)習(xí)體系與績(jī)效管理框架中，形成一套可供任何組織借鑒的完整方法論——用于系統(tǒng)性培養(yǎng)并科學(xué)評(píng)估員工高階AI應(yīng)用能力。

頂尖AI使用者有何不同？

項(xiàng)目開(kāi)始時(shí)，畢馬威的AI應(yīng)用已達(dá)到相對(duì)成熟的階段：近90%的員工定期使用AI，且可用的工具集不斷增長(zhǎng)。公司可以衡量使用頻率，但缺乏對(duì)有效或高級(jí)應(yīng)用的具體定義及其衡量方法。這是個(gè)問(wèn)題。沒(méi)有這種清晰度，就難以推動(dòng)組織超越基礎(chǔ)應(yīng)用的階段。我們相信，如果能定義和衡量"優(yōu)秀"的標(biāo)準(zhǔn)，就能更有意識(shí)地鼓勵(lì)全公司范圍內(nèi)的、高影響力的高級(jí)AI使用。

我們的研究分析了涵蓋不同職能、角色和經(jīng)驗(yàn)水平的多元化專業(yè)人士的習(xí)慣。回想一下，在八個(gè)月的時(shí)間里，我們創(chuàng)建了一個(gè)包含2500名員工所有生成提示詞與答案的檔案——總計(jì)140萬(wàn)條。數(shù)據(jù)集的規(guī)模和持續(xù)時(shí)間使我們能夠超越一時(shí)之快，不僅看到員工在某一天如何使用AI，還能觀察到他們?cè)诮缍▎?wèn)題、引導(dǎo)推理、評(píng)估輸出以及將AI應(yīng)用于不同類型工作的模式，如何隨著時(shí)間演變和分化。

為了分析這些數(shù)據(jù)，我們請(qǐng)OpenAI的"思維模型"之一——ChatGPT模型o1——來(lái)評(píng)估每次對(duì)話（包括提示詞和回復(fù)），并判斷某些特征是否存在，包括用例類型、提示詞工程策略以及AI使用的其他行為指標(biāo)。這項(xiàng)分析消耗了大量計(jì)算時(shí)間，產(chǎn)生了超過(guò)50個(gè)變量，隨后我們對(duì)其進(jìn)行了提煉。

掌握了這些信號(hào)后，我們提出疑問(wèn)：這些信號(hào)如何提供一個(gè)簡(jiǎn)化的指南，幫助人們實(shí)現(xiàn)更有效的使用？它們能否在不使用我們研究中那樣昂貴計(jì)算資源的情況下，幫助我們識(shí)別"超級(jí)用戶"？以下是我們發(fā)現(xiàn)的。

解析高級(jí)應(yīng)用

當(dāng)我們識(shí)別出公司里最高級(jí)的用戶時(shí)，發(fā)現(xiàn)他們?cè)诮巧唾Y歷上差異很大，但也出現(xiàn)了明顯的共同點(diǎn)。我們發(fā)現(xiàn)高級(jí)用戶似乎都具備四種不同的行為模式：

他們?cè)谑褂?/strong>AI時(shí)抱有雄心。高級(jí)的AI應(yīng)用源于長(zhǎng)期積累的復(fù)合行為，而不僅僅是使用量。頂級(jí)用戶往往與大型語(yǔ)言模型有更長(zhǎng)的互動(dòng)和更多來(lái)回對(duì)話；撰寫(xiě)更長(zhǎng)、更復(fù)雜的初始提示詞；根據(jù)任務(wù)有意識(shí)地在模型或工具間切換；并且使用AI的頻率相對(duì)較高。

他們將AI視為推理伙伴。他們并非全盤(pán)接受初始輸出，而是主動(dòng)塑造模型的思考。他們使用諸如角色定義、為L(zhǎng)LM提供期望輸出的示例、迭代優(yōu)化、自我驗(yàn)證和結(jié)構(gòu)化推理提示等技術(shù)。其價(jià)值來(lái)自長(zhǎng)期引導(dǎo)模型，而非提出"更好"的一次性問(wèn)題。他們讓模型幫助思考問(wèn)題、檢驗(yàn)假設(shè)、探索替代方案。這種行為體現(xiàn)在堅(jiān)持解決問(wèn)題、使用結(jié)構(gòu)化提示詞和采用迭代改進(jìn)上。

他們以清晰的目標(biāo)委派復(fù)雜任務(wù)。高級(jí)用戶也更可能將復(fù)雜的、多步驟的任務(wù)委派給AI。他們會(huì)指定約束條件和成功標(biāo)準(zhǔn)，定義期望的回應(yīng)結(jié)構(gòu)，并闡明清晰的目標(biāo)。他們的雄心不僅體現(xiàn)在提示詞的長(zhǎng)度上，還體現(xiàn)在所委派任務(wù)的復(fù)雜性上。

他們將AI視為通用認(rèn)知工具，而非狹隘的"生產(chǎn)力捷徑"。高級(jí)應(yīng)用體現(xiàn)在創(chuàng)意構(gòu)思、分析、技術(shù)指導(dǎo)、知識(shí)工作和問(wèn)題解決等多個(gè)方面。高級(jí)用戶在廣泛的用例中運(yùn)用AI，并根據(jù)用例在模型間有意識(shí)地切換。非正式語(yǔ)言、拼寫(xiě)錯(cuò)誤和對(duì)話式語(yǔ)氣常伴隨高級(jí)使用——這些都是微小但能說(shuō)明問(wèn)題的跡象，體現(xiàn)了用戶的自如和流暢。

一幅圖景由此浮現(xiàn)：高級(jí)用戶在與AI工具協(xié)作時(shí)展現(xiàn)出顯著的敏捷性和靈活性。他們更可能在模型間切換，利用多個(gè)AI平臺(tái)，并將日益復(fù)雜的多步驟任務(wù)委派給AI，這反映出一種更成熟的、將AI視為動(dòng)態(tài)協(xié)作者而非單一用途工具的心智模型。

研究還揭示了一個(gè)令人驚訝的趨勢(shì)：最佳使用者往往是經(jīng)理級(jí)及以上的員工。這令我們感到意外，因?yàn)閭鹘y(tǒng)觀點(diǎn)認(rèn)為初級(jí)員工往往對(duì)這些工具感到更自在，使用起來(lái)也更自然。但研究結(jié)果表明，"自在"與"精通" 之間可能存在重要區(qū)別。

我們還注意到其他幾個(gè)重要趨勢(shì)：

盡管公司內(nèi)AI應(yīng)用廣泛（再次強(qiáng)調(diào)，約90%），但我們發(fā)現(xiàn)僅有約5%的用戶符合我們定義的"高度精通"。這種早期高級(jí)使用的集中度表明，大型組織中的AI應(yīng)用并非自然而然或均勻發(fā)生。相反，它強(qiáng)調(diào)，推動(dòng)有意義、創(chuàng)造價(jià)值的應(yīng)用，需要比僅僅向員工提供工具更刻意的干預(yù)。

盡管各級(jí)員工都使用LLM輔助寫(xiě)作，但經(jīng)理及以上級(jí)別的員工更可能將LLM用于更多樣化的任務(wù)，如技術(shù)指導(dǎo)和創(chuàng)意構(gòu)思。這表明，經(jīng)驗(yàn)和角色背景不僅影響AI使用的頻率，也影響其如何融入核心工作。

初級(jí)員工比高級(jí)員工更可能將公司的LLM用于個(gè)人任務(wù)。因此，使用頻率可能不是衡量生產(chǎn)力的可靠信號(hào)。

經(jīng)理以下職位的員工在與LLM互動(dòng)時(shí)，更少采用有意識(shí)的策略，而經(jīng)理及以上員工則更可能這樣做。他們也更可能提出清晰的請(qǐng)求。

領(lǐng)導(dǎo)者應(yīng)如何改變做法

研究結(jié)果表明，企業(yè)需要將AI工作的重點(diǎn)從推動(dòng)應(yīng)用轉(zhuǎn)向塑造習(xí)慣。當(dāng)人們學(xué)會(huì)如何清晰界定問(wèn)題、引導(dǎo)模型推理、批判性評(píng)估輸出，并在工作中靈活應(yīng)用AI時(shí)，高級(jí)的AI應(yīng)用便會(huì)出現(xiàn)。簡(jiǎn)而言之，這更多關(guān)乎專業(yè)人士如何思考并借助AI做出決策，而更少關(guān)乎工具本身。那些產(chǎn)生影響的、可積累的少數(shù)行為是可觀察、可教授且可擴(kuò)展的。

以下是領(lǐng)導(dǎo)者應(yīng)關(guān)注的重點(diǎn)。

制定"AI優(yōu)先"的最佳實(shí)踐

如果你想通過(guò)AI獲得不同的結(jié)果，就必須讓不同的行為變得可見(jiàn)、可討論、可期待。研究揭示了畢馬威希望鼓勵(lì)的具體行為，因此領(lǐng)導(dǎo)者將其轉(zhuǎn)化為實(shí)用的手冊(cè)、簡(jiǎn)短的說(shuō)明以及同行主導(dǎo)的"先鋒"網(wǎng)絡(luò)，強(qiáng)調(diào)高級(jí)應(yīng)用在日常工作中的樣子。其目標(biāo)是創(chuàng)建一個(gè)關(guān)于"優(yōu)秀標(biāo)準(zhǔn)"的共識(shí)，并在全公司范圍內(nèi)強(qiáng)化。

重新思考技能提升

這些發(fā)現(xiàn)重塑了畢馬威的發(fā)展方式，重點(diǎn)在于幫助員工在完成本職工作的流程中，建立有效使用AI的信心。畢馬威投資于由跨職能團(tuán)隊(duì)開(kāi)發(fā)的、注重實(shí)踐的、基于應(yīng)用的培訓(xùn)。在各地辦公室和虛擬教室中，基于情景的培訓(xùn)讓專業(yè)人員沉浸在真實(shí)的客戶和內(nèi)部工作中，并高度強(qiáng)調(diào)高級(jí)協(xié)作行為，例如將復(fù)雜任務(wù)委派給AI、引導(dǎo)模型推理、驗(yàn)證輸出以及隨時(shí)間推移優(yōu)化方法。

為成長(zhǎng)與發(fā)展設(shè)定清晰期望

這項(xiàng)工作并非要改變?nèi)瞬殴芾硐到y(tǒng)或流程，而是要明確在AI賦能的世界中，優(yōu)秀的工作應(yīng)是什么樣子。利用這項(xiàng)研究，畢馬威將有效的AI賦能工作的樣貌，轉(zhuǎn)化為實(shí)用的、針對(duì)角色和任務(wù)級(jí)別的期望，認(rèn)識(shí)到高質(zhì)量的判斷力在不同職能、級(jí)別和交付情境中表現(xiàn)各異。例如，審計(jì)、稅務(wù)、咨詢和業(yè)務(wù)處理部門(mén)在截然不同的環(huán)境中運(yùn)作，面臨不同的風(fēng)險(xiǎn)、法規(guī)和交付模式，AI需要支持這些現(xiàn)實(shí)。因此，"AI優(yōu)先"的期望按部門(mén)量身定制，無(wú)論是審計(jì)中的AI輔助風(fēng)險(xiǎn)評(píng)估、咨詢中更快的研究和情景規(guī)劃，還是稅務(wù)中更自動(dòng)化、更高質(zhì)量的工作成果。

其意圖是為員工和領(lǐng)導(dǎo)者提供更清晰的信號(hào)，表明AI應(yīng)如何支持日常決策、工作質(zhì)量和客戶成果。

AI正在迅速改變工作，領(lǐng)導(dǎo)者難以清晰闡述其組織將如何適應(yīng)，這是可以理解的。通常，這是因?yàn)槿狈?duì)"優(yōu)秀"標(biāo)準(zhǔn)的明確定義。理解為什么一些員工能成功運(yùn)用AI——以及它如何讓他們做得更好——是幫助所有人學(xué)會(huì)使用這些工具的第一步。

關(guān)鍵詞：

尼克·霍爾曼（Nick Hallman）、扎克·科瓦萊斯基（Zach Kowaleski）、阿努·普瓦亞（Anu Puvvada）、杰米·J·施密特（Jaime J. Schmidt）|文

尼克·霍爾曼是德克薩斯大學(xué)奧斯汀分校舒爾金會(huì)計(jì)系副教授。扎克·科瓦萊斯基是德克薩斯大學(xué)奧斯汀分校舒爾金會(huì)計(jì)系助理教授。阿努·普瓦亞領(lǐng)導(dǎo)畢馬威工作室，她將前瞻性研究與風(fēng)險(xiǎn)投資構(gòu)建相結(jié)合，以識(shí)別新興機(jī)遇并推出可擴(kuò)展的服務(wù)和科技賦能業(yè)務(wù)。杰米·J·施密特是德克薩斯大學(xué)奧斯汀分校麥庫(kù)姆斯商學(xué)院舒爾金會(huì)計(jì)系教授。

周強(qiáng)|編校

聯(lián)系方式

投稿、廣告、內(nèi)容和商務(wù)合作

newmedia@hbrchina.org