實測 ChatGPT 中文校稿挑錯字
7 | 13,979 |
【提醒】文末的訊息及姓名輸入欄位是留言區,不是輸入文字測試用的,好像有些朋友誤會了,特此說明。
我文章的錯字之多,遠近馳名,多年以來已成個人特色... (Orz)
說來大家可能不信,其實每一篇文章送出前我都會校稿檢查至少一次,但可能是某種閱讀障礙,亦或個性浮躁沒耐性使然,還是腦部文字檢查模組真有缺陷,常常錯字從眼皮子底下滑過也渾然不覺。認真說起來,這有個科學解釋 - 閱讀自己的文章時,由於知道自己想表達些什麼,腦中版本常會蓋過看到的版本,因此容易忽略錯字或漏字;對讀者因是新文章,故會專注閱讀並特別注意細節,故能簡單挑出文章中的錯誤。
ChatGPT 問市後,我從沒想過要用它寫文章,不信它能做到介紹技術兼搞笑鬼扯,如同少林功夫加跳舞唱歌,沒事還要押韻來點 RAP,不這樣哪算黑大風格?(歡迎大家召喚 ChatGPT 來挑戰)
但是,我倒很希望 ChatGPT 能幫忙枯燥沒營養的校稿揪錯字工作。以當今 ChatGPT 的中文實力,到底可不可行呢?實測前,我先參考了別人的經驗,找到一篇:一個自由譯者使用ChatGPT輔助工作的初步心得 by 維琪每天趕死線。
摘要其心得如下:
- AI 翻譯水準約 60 ~ 70 分(以專業翻譯人員的要求標準),簡單文章約 80 ~ 90 分,但要直接用仍有距離。除非應採機器翻譯 + 人工校潤 (Post-Editing) 的做法。(AI 出現前就有很多人在這樣做,但品質不甚理想)
- ChatGPT 輸出結果常隱藏乍看難以分辨的錯誤,若誤信問題更大,故翻譯人員沒想像那麼容易被 AI 取代。
- 簡單、制式、不求文筆或閱讀沈浸感的文本類型(合約、行政文書)可考慮直接交給 AI 加人工校訂後上場,其餘不行。
題外話:我覺得目前標榜 AI 產生的作品,有許多我們是抱著「哇! AI 可以做成這樣」的低標或基於新鮮感才給予讚賞,懷疑若將 ChatGPT 自動生成的小說印成書,有多少人願意買單? - 作者也超想用 AI 校稿抓誤譯跟中文錯字,結論是找翻譯錯誤效果還不錯,抓中文錯字則不行。
- ChatGPT 的成功應用:解析模稜兩可的英文原文、Translation Improver 請 AI 把原翻譯「換句話說」(可指定風格等更詳細的設定)掃除盲點。
- 頂級譯者還不會被取代,但若多數人不追求高品質,接受 AI 翻譯七八十分結果,將排擠一般譯者的工作機會。
第四點是我最關心的。依作者的經驗,叫 ChatGPT 抓中文錯字的想法並不可行,推測與其訓練資料以英文為大宗有關。感覺不太妙,但還是決定實測一下。
以下是我的簡單測試,直接用前幾天文章被讀者找到的幾個錯字當實際樣本。
ChatGPT 並不是一個最終產品,更像一個 Demo,評價它時應區分哪些是早期還來不做好的?哪件是本質上的限制?
(來不"及"做好、哪"些"是)實例:文科背景害怕軟體的律師,但透過語言溝通的 ChatGPT 正符合其專長,還沒有辭退員工,但不再算再找實習生了。
(不"打"算再找)
試了幾組 Prompt,即便我有強調只找錯字,不要解析或換句話說,ChatGPT 仍會幫我改寫成它覺得較好的寫法,最後我找到這組 Prompt 效果最好 你現在是一個繁體中文文章校稿人員,負責閱讀我提供的內容,明確指出哪一句的哪幾個字可能打錯字,需要修正。以下按此原則處理,不用再次說明
。
測試一,沒看出"不打算"有錯字,倒是糾結想把"還沒辭退"改成"尚未有解僱員工的情況發生":
測試二,改用 Bing Chat,結果有點分歧,有幾次只要談到 ChatGPT、辭退等字眼,Bing Chat 就逃走說說不想再談了,逼得我只能改問法,但也沒有抓出"不打算":
後來又試了一次成功一半,ChatGPT 建議"算再找"改成"再也不找",但若置換到句子會變成"但不再再也不找"語意不通,但這已能提醒我該處有錯字。至於 ChatGPT 要換成 Chatbot 的理由不明。
測試三,另一組有問題的句子若只截取小部分送測,這回倒有成功抓出兩處錯誤。
測試四,傳入整段文字,ChatGPT 忘了我交待要他抓錯字,又做起它愛做的解析跟總結,提醒無效。
實測結果,感覺是偶爾可以成功,但一次丟一大段請 ChatGPT 處理的想法看來不可行,需額外插件或寫程式處理,加上準確性不理想,不能算可用方案。這個需求或許用中文斷詞軟體效果會更好一些,但缺少 ChatGPT 解析前後文的能力,效果應很難符合我的預期。
結論是,ChatGPT 目前無法幫忙挑中文錯字,請讀者們多多幫忙只能自己努力降低錯字率及加強校稿挑錯能力,若大家有更好的做法也歡迎分享,一起搶救錯字天王。(謎:真敢講)
Comments
# by Sen
GPT 3.5 在語言理解與處理能力上確實有限,沒有辦法直接產出無腦可用的直接內容,但在 GPT 4.0 上,已經能產出直接有效的內容,但相對費用部分會是一個關鍵的考慮重點;以下提供實測情境,兩組 Prompt 稍微不同。 ---------------------------- GPT 4.0 測試案例 1: ---------------------------- User 00:34:57 你現在是一位專業的台灣繁體中文校稿人員,你會從我提供給你的內容中查詢是否包含錯誤的用詞或單字,並提出精準正確的答案。 GPT 4(8K) 00:35:03 您好!請您放心把您所需要校對的內容提供給我,我將會用我專業的能力,幫您查詢和提供精準正確的答案。期待與您合作愉快! User 00:35:11 內容: 實例:文科背景害怕軟體的律師,但透過語言溝通的 ChatGPT 正符合其專長,還沒有辭退員工,但不再算再找實習生了。 內容: ChatGPT 並不是一個最終產品,更像一個 Demo,評價它時應區分哪些是早期還來不做好的?哪件是本質上的限制? GPT 4(8K) 00:35:19 經過我的校對,以下是修改後的內容: 內容一:例如,文科背景的律師可能會對軟體感到害怕,但透過語言溝通的 ChatGPT 卻恰好符合他們的專長。雖然目前尚未裁減員工,但未來可能不再需要聘請實習生。 內容二:ChatGPT 並非一個最終產品,更像是一個展示版本。在評價它時,我們應該區分哪些問題是因為處於初期階段而尚未解決?哪些則是它本質上所存在的限制? 若有其他需要協助的地方,請隨時告知! ---------------------------- GPT 4.0 測試案例 2: ---------------------------- User 00:36:27 你現在是一位專業的台灣繁體中文校稿人員,你會從我提供給你的內容中查詢是否包含錯誤的單字,並提出精準正確的答案,你的答案不該更改原本的用語,只需要對錯誤的單字進行修正。 GPT 4(8K) 00:36:31 好的,請您提供您需要校對的內容,我將為您查詢是否包含錯誤的單字並提出精準正確的答案。在此過程中,我將尊重原本的用語,並只對錯誤的單字進行修正。 User 00:36:37 內容: ChatGPT 並不是一個最終產品,更像一個 Demo,評價它時應區分哪些是早期還來不做好的?哪件是本質上的限制? 內容: 實例:文科背景害怕軟體的律師,但透過語言溝通的 ChatGPT 正符合其專長,還沒有辭退員工,但不再算再找實習生了。 GPT 4(8K) 00:36:44 內容: ChatGPT 並不是一個最終產品,更像一個 Demo,評價它時應區分哪些是早期還來不及做好的?哪些是本質上的限制? 內容: 實例:文科背景害怕軟體的律師,但透過語言溝通的 ChatGPT 正符合其專長,還沒有裁員,但不再需要找實習生了。 已為您修正錯誤的單字,以下是修正後的文字。
# by Jeffrey
to Sen,感謝詳細的測試與分享。測試案例一改寫幅度太大,不太OK。測試案例二則接近我的期望,可惜不能做到只標示"「來不做好」應是「來不及做好」",若複製它給的整段文字取代原文,又擔心有被額外修改的內容,像是第二句除了「不再算再找」有改成「不再需要」,「辭退員工」也被置換成「裁員」,就寫作角度,有些字詞間存在微妙差異,也是個人風格的展現,一旦被 ChatGPT 正規化難免走味。當大家全都改用它產生文字,未來只怕所有文字都散發著罐頭味。 但應該還是會有真正在乎文筆特色的讀者與作者,在機器量產的主流中堅持一小塊"手工麵包"的小眾市場。:D
# by UMI
我想說得是不可能那麼貴
# by 小白兔澄
自從這個農地沒有人耕種後,幾頭黃牛沒有工作,他們也「失業」了。
# by ㄔ
這首五言詩既是在寫景,也是在舒情,將情 感巧妙地寄遇於景物中。 〔國文(一
# by lei zhang
根据您提供的内容,我会进行仔细的检查并校正错别字、语法问题,以使其成为一篇优秀的国家自然科学基金标书文本。
# by xuan
製作襯衫時,領子是出現最多問題的地方,而在裁布時粗心的我沒有把領子的牙口記號剪出來,導致製作到要把領子跟衣身接起來時沒辦法對好,讓自己多拆線很多線,最後用了別針別好對其反覆確認正確才不用在拆更多線