匯東華統計顧問有限公司
偵測報告上的「AI 率」,可以當成提醒,不能當成證據。
Sun、Liao 與 Ma 於 2026 年在 Computers & Education 發表的研究,建立三個以真實樣本構成的資料集(課堂作業、學位論文、工程程式碼),合計超過 28 萬筆樣本,系統性評估 13 種主流偵測工具,涵蓋商業與開源模型。
摘要的結論有三點:偵測工具在長篇論文上表現尚可,在工程程式碼與短篇作業上則系統性失靈;理工領域因技術寫作的公式化特性,受到明顯的演算法偏誤;作者所稱的混合修改策略,最多可讓 88% 的 AI 生成內容逃過偵測。作者據此判斷:現有偵測技術不足以支撐高風險的教育評量。
第 2 期介紹 Academic Humanizer 時,我們提醒過「不要把能不能通過 AI 偵測當作品質判準」;這項研究為那句提醒補上證據。
文末整理三種讀者(投稿的研究者、指導學生的教師、需要判讀報告的審查者)拿到偵測報告時,可以怎麼做。
第 2 期的本期工具〈Academic Humanizer:把 AI 初稿修回自己的聲音,然後呢?〉談的是改寫端:一套把 AI 初稿修回作者語氣的規則。開發團隊在說明中寫明它「not designed to evade AI-use detection」,《Nature》的報導仍以「可抹除 AI 寫作痕跡」為題,引發科學家的擔憂。我們當時在第三個實務提醒寫下:完全由作者自行撰寫的文章,也可能被判定具有 AI 特徵;今天通過某一套偵測器,不能證明文章比較真實。《Nature》相關報導見參考文獻 2。
那是一個原則性的提醒。本期這項研究從偵測端回答同一件事:偵測工具在真實的學生作品上準不準、被改寫之後還剩多少偵測力。
兩篇合起來看,結論是對稱的:偵測分數高,不能證明用過 AI;偵測分數低,也不能證明沒用過。
本篇也延續系列前幾篇的主線。No.03 談 AI 自我檢查後,照樣交出有問題的結論;No.05 的結語是「每一種 AI 用法,都要說得出:出錯時誰會發現、誰負責」。偵測工具是同一個問題的另一面:當我們拿一個 AI 工具去判斷別人有沒有用 AI,判斷的責任仍然在人身上,不在報告上。
作者指出,偵測工具在真實教育情境中的有效性,至今探討不足。因此他們建立三個資料集:
三者合計超過 28 萬筆真實樣本。作者以 13 種主流偵測工具(含商業與開源模型)從多個面向評估,包括整體表現、任務複雜度、學科差異,以及面對刻意修改時的穩健性。
摘要的第一個發現是:偵測工具在長篇學位論文上的表現「尚可接受」(acceptable),但在工程程式碼與短篇課堂作業上「系統性失靈」(systematic failures)。
要注意的是「尚可」兩個字。作者在研究重點中另外寫明:尚可的偵測表現,仍不足以用於高風險評量。 即使在表現最好的長篇論文,結果也只到「可以參考」,達不到「可以定案」。
對醫護研究的讀者,這裡有一點延伸:統計分析常附 R 或 SPSS 語法。這項研究測的是工程程式碼,沒有直接測統計語法;但同屬程式碼,不宜預設通用偵測器在這裡會比較準(此為推論,本研究未直接檢驗)。
第二個發現與學科有關。作者指出,由於技術寫作的公式化特性,理工(STEM)領域受到明顯的演算法偏誤。
醫學與護理研究的寫作同樣高度格式化:方法節的固定句式、結果節的數值報告、被動語態與專業術語。本研究沒有把醫學寫作單獨分析,但依作者對理工寫作的解釋,醫護研究者的稿件很可能落在同一側(此為推論,未經本研究直接檢驗)。
摘要沒有說明偏誤的方向(較常被誤判為 AI,或較常被漏判)。
這一點對指導者最重要:同一個偵測分數,放在不同學科、不同文體,意義不一樣。 用同一條門檻判斷所有學生,本身就可能不公平。
第三個發現是穩健性測試。作者指出,現有偵測工具極度脆弱:作者所稱的混合修改策略,最多可讓 88% 的 AI 生成內容成功逃過偵測。
摘要沒有說明 88% 是哪一種工具的結果、是單一工具還是跨工具的彙總,也沒有列出各工具各自的數字;這些細節都在全文,本文不轉述。可以確定的是:在作者的測試中,經混合修改後逃過偵測的比例最多達 88%。
回到第 2 期的問題:如果經過修改就可能大量通過偵測,那麼「通過偵測」並不能說明什麼;而另一頭,理工寫作又受到演算法偏誤(方向見 04 節)。偵測分數在兩個方向上都不能單獨成立。
作者在研究重點(Highlights)中呼籲轉向過程導向評量(process-oriented assessment),並主張偵測工具應在評量體系中擔任參考指標。以下是我們據此延伸的做法,針對醫護研究的投稿、論文指導與審查情境整理。
情境一|醫護研究者投稿:被質疑時,拿得出來的是分析軌跡
情境二|指導研究生論文:分數決定要不要多談,不決定結果
情境三|期刊或學位審查:把疑慮換成可查證的問題
AIGC 偵測工具可以提醒我們:這份作品值得多看一眼。但它在短作業與程式碼上系統性失靈、在理工寫作上有演算法偏誤,經混合修改後最多 88% 的 AI 內容逃過偵測。拿它當證據,等於把判斷交給一個連作者都認為不足以承擔高風險決定的工具。
第 2 期說過:AI 可以進入寫作流程,責任不能一起外包。偵測端也是一樣。
偵測分數可以提醒你多看一眼;要如何下結論,得看過程與證據。
系列延伸閱讀
本文由匯東華統計顧問有限公司 陳秀敏 博士撰稿,Claude Opus 5.5 協助文獻檢索、內容整理與版面排版,最終內容已由作者審閱定稿。Sun 等人論文之作者、標題、期刊、卷號與文章編號以 CrossRef 查證;文中引用之研究內容僅取自論文摘要與研究重點,未取得全文。日期:2026 年 10 月 16 日。
匯東華電子報 第 7 期|2026.10.16|看本期網頁版 →
![]()
服務價目表 (未含5%營業稅)
透過嚴謹的數據整理,提供有價值的資訊,形塑知識,提高決策品質。包括信達雅三執行原則。
信:確保資料品質可信賴
達:確保統計方法適切性
雅:確保圖文表格正規化
協助代執行統計分析與進一步加值服務。
在匯東華與夥伴的專業背景知識配合下,能有效地處理面對的問題。
統計分析成果
![]()
數據是礦藏,數據清洗是挖出鑽石的第一步,尤其是巨量知識。數據清洗或串接執行過程需要細心與專注,且有可能會消耗許多時間和精力,就由我們來替各位處理掉這個大麻煩。
全民健保研究資料庫、國外大型資料庫資料非常齊全,種類多,需要串接與清洗,進行正規化後才能更進一步進行資料探勘與統計分析。

Fig1.同一個Project資料散落在不同tables,無法使用

Fig2.整併與清理為可分析的table

Fig.3整理和分析後形成有意義的知識
概念與流程示意圖
![]()




為了讓匯東華的顧客與學員有更好的合作和消費體驗,故匯東華特別依據營業項目開發周邊產品,提供使用、購買。目前已有針對公共衛生師的題庫以及模擬試題,未來將針對醫學研究領域發展產品。
統計不是終點,決策才是。
研究方法、統計實務技巧與數據決策思維,每期送到你的信箱。
我們僅將你的 Email 用於寄送匯東華電子報,你可隨時一鍵退訂。
已送出,請至信箱查收確認信
(若 5 分鐘內未收到,請檢查垃圾郵件匣,或回到本頁再送出一次。)
兩堂課銜接:從 Cox 不夠用,到競爭風險模型實作