33分鐘研究室

首頁 / 財經

ChatGPT 看新聞猜對九成,為什麼作者兩年後自己改口?

佛羅里達大學的論文讓 ChatGPT 讀新聞標題判斷好壞消息。第一時間的漲跌方向 GPT-4 猜對約九成,可是最新版多了三個提醒。

ChatGPT 看新聞猜對九成,為什麼作者兩年後自己改口? 影片縮圖
在 YouTube「3分鐘科普財經」看影片約三分鐘講完這篇論文,開新頁到 YouTube

佛羅里達大學兩位學者讓 ChatGPT 讀新聞標題,判斷這則新聞對股價是好消息、壞消息還是不確定。新聞一出來,股價第一時間往哪邊走,GPT-4 猜對方向的比例大約九成(隔夜新聞 93.3%、盤中新聞 88.8%)。2023 年 4 月的第一版論文說,ChatGPT 可以預測股價。

2025 年 10 月的最新版多了三個提醒。九成準的那段漲跌,一般人來不及買;一般人買得到的是之後一兩天的延續,每天平均只有 0.34%,還沒扣交易成本。扣掉交易成本還能賺的,大概只有交易成本很低的造市商。而且策略一年比一年弱,報酬相對風險(Sharpe)從 2021 年第四季的 6.54,掉到 2024 年前五個月的 1.22,少了八成。

ChatGPT 看新聞選股?一篇論文的第一版說可以,兩年半後作者自己改口
ChatGPT 看新聞選股?一篇論文的第一版說可以,兩年半後作者自己改口

論文怎麼做

論文是 Lopez-Lira 和 Tang 的〈Can ChatGPT Forecast Stock Price Movements?〉(ChatGPT 能預測股價嗎?),放在 arXiv 的工作論文,目前還沒看到期刊刊登。

他們要 ChatGPT 假裝自己是有推薦股票經驗的財經專家,看新聞標題,判斷對這家公司短期的股價是好、是壞,還是不確定。

ChatGPT 的訓練資料到 2021 年 9 月為止,所以他們全用之後的新聞,確保它沒有看過答案。最新版用了美國 4,123 檔股票、2021 年 10 月到 2024 年 5 月的新聞標題。每天把 ChatGPT 說是好消息的股票買進,壞消息的放空,看接下來賺不賺。

有些新聞,ChatGPT 比傳統的情緒分析工具會讀。第一版論文舉了一個例子,標題寫 Rimini Street 在跟甲骨文的官司裡被罰 63 萬美元。傳統工具看到「罰款」,判成壞消息;ChatGPT 判斷這對甲骨文是好消息,因為代表它保護得住自己的智慧財產。

模型要夠大才做得到。GPT-1、GPT-2 這些早期的小模型幾乎看不懂,GPT-3.5 好一些,GPT-4 最強。照 GPT-4 的判斷好消息買、壞消息空,還沒扣交易成本,報酬相對風險 2.97;GPT-3.5 是 1.66。

新聞一出來,第一時間的漲跌方向,GPT-4 猜對約 90%
新聞一出來,第一時間的漲跌方向,GPT-4 猜對約 90%

最新版的三個提醒

第一,九成準的是新聞一出來第一時間的反應,這段漲跌一般人根本來不及買。買得到的是之後一兩天的延續,每天平均 0.34%,還沒扣交易成本。

九成準的是第一波反應,一般人買得到的每天平均 0.34%,還沒扣交易成本
九成準的是第一波反應,一般人買得到的每天平均 0.34%,還沒扣交易成本

第二,論文自己說,扣掉交易成本還能賺的,大概就是交易成本很低的造市商。

第三,這個策略一年比一年弱。報酬相對風險 2021 年第四季是 6.54,2022 年剩 3.68,2023 年 2.33,到了 2024 年前五個月剩 1.22。作者的解釋是,用 ChatGPT 看新聞的人越來越多,大家都看得懂,股價就反應得越來越快。

GPT-4 策略的報酬相對風險一年比一年弱,從 6.5 掉到 1.2
GPT-4 策略的報酬相對風險一年比一年弱,從 6.5 掉到 1.2

台股回測

這集介紹論文本身,數字都取自論文第一版(2023 年 4 月)和最新版(2025 年 10 月),沒有另做台股回測。

四個檢視標準

  1. 論文公開之後,還有效嗎? 越來越弱。論文自己的數據,報酬相對風險三年掉了八成。
  2. 扣掉成本,還賺嗎? 一般投資人很難,作者說交易成本很低的造市商才做得到。
  3. 比亂猜好嗎? 比亂猜好。看懂新聞這件事,GPT-4 有本事,小模型才是在亂猜。
  4. 贏得過一直抱著嗎? 論文沒有直接比。這招要每天換股,我們的判斷是,一般人光是交易成本就很難贏過一直抱著。

限制

  • 這是工作論文,還沒有期刊刊登,數字以第六版為準,之後可能再改。
  • 樣本是美股,我們沒有拿台股驗證。
  • 九成準的部分是新聞出來當下的反應,不能拿來交易;能交易的部分還沒扣交易成本。

出處

  • Lopez-Lira, A., & Tang, Y. (2025). Can ChatGPT forecast stock price movements? Return predictability and large language models (arXiv:2304.07619v6) [Working paper]. arXiv. https://doi.org/10.48550/arXiv.2304.07619
  • 第一版:2023 年 4 月 6 日。