準確率99%，新模型可識別ChatGPT生成的文本內容

IT之家 11 月 8 日消息，根據 sciencedirect 收錄的最新論文，科學家依賴 20 個特征和機器學習算法，可以準確區分內容是由人類論文作者創作，還是由 ChatGPT 生成的，且準確率可以高達 99%。

Bing Image Creator 生成

AI Detector 研究人員表示該模型在區分人類寫作和 ChatGPT 生成的文本方面表現出 99% 的準確率，并且明顯優于 ChatGPT 制造商 OpenAI 提供的 AI 檢測軟件 GPT-2 Output Detector。

研究人員也坦言，現階段該賽模型算法測試的樣本數據并不夠大，只是測試了 13 家化學期刊和 3 家媒體上文章，通過 20 個文本特征和 XGBoost，可以有效區分人類協作，以及 GPT-3.5 / GPT-4 生成內容。

研究人員表示，這些測試表明他們的方法簡單而有效。他們強調，取決于提示和模型，該工具在識別人工智能生成的文本時表現出 98%-100% 的準確率。

研究人員表示 OpenAI 目前檢測器準確率目前在 10-56% 之間，該工具比 OpenAI 的更為先進。

研究人員進一步透露，這項研究和發明背后的目標是為科學界提供一種途徑，讓他們能夠評估“ChatGPT 對化學期刊的滲透，確定其使用的后果，并在出現問題時迅速引入緩解策略”。

IT之家在此附上論文地址，感興趣的用戶可以深入閱讀。

Heather Desaire, Aleesa E. Chua, Min-Gyu Kim, David Hua,Accurately detecting AI text when ChatGPT is told to write like a chemist,Cell Reports Physical Science,2023,101672,ISSN 2666-3864,https://doi.org/10.1016/j.xcrp.2023.101672.