初探運用ChatGPT生成學測數學模擬試題

Abstract

本研究旨在探索如何應用ChatGPT製作仿108課綱學測數學的模擬試題，為此研究者先了解ChatGPT的解題表現和錯誤形式，並引導ChatGPT分析試題複雜度。將111年至113年學測數學A試題分別截圖給ChatGPT-4o(以下簡稱ChatGPT)進行解題和判斷試題複雜度等級，計算答題結果的各項得分率、複雜度與學測試題難易度的相關性，和分析ChatGPT的錯誤類型及答題對話的互動過程，並利用初步研究資料和客製化ChatGPT模型(簡稱GPTs)設計製作本研究的「命題GPTs」來仿作108課綱學測數學試題的模擬試題，生成仿學測數A考科111年、112年、113年之整卷試題各一份，以及高一範圍、高二範圍之代表試題各一份，總共五份試題進行分析，最後計算生成試題的題目、詳解、答案、單元之正確性比例並提出命題GPTs待修改之處。本研究主要研究結果如下：1. 三年總得分分別落在均標、前標、前標，在學習內容方面，數與量(N)的得分率都較高，資料與不確定性(D)和代數(A)得分率也相對較高，坐標幾何(G)的得分率皆是最低；在易、中、難的程度方面，得分率大致符合程度的趨勢，程度「難」的題目不容易答對；在題目附圖表呈現方面，「題幹無圖形訊息，無附圖表」題目得分率皆是最高，「題幹有圖形訊息，有附圖表」題目的得分率偏低。2. ChatGPT答題的錯誤形式分成：圖形解讀錯誤、題目解讀錯誤、推理不完整。3.複雜度的思考策略指標與難易度等級在Spearman等級相關的相關係數平均約為0.4274，具有中度正相關，可以做為判斷指標。4.本研究之「命題GPTs」有整卷仿作和自訂參數兩種出題模式，可以仿作出學測模擬試題。研究最後提出對於教師使用與未來研究的建議，期許本研究提供現場教師與後續想研究的學者在教學使用ChatGPT解數學題的提問互動參考及設計GPTs來命題的方式。none