國產大語言模型的語文作文評價能力測試

打開文本圖片集

摘要：大語言模型作為人工智能的最新技術成果，將對數智時代的教育樣態(tài)產生深刻影響。為調查大語言模型的作文評價能力，文章選取500篇小學語文作文，設計了37條提示語，以“智譜AI”“訊飛星火”這兩款國產大語言模型為測試工具，從評分和評語兩個方面進行評價，發(fā)現(xiàn)：在評分的可用性上，國產大語言模型的評分與原始分數具有微弱相關關系；在評分的穩(wěn)定性上，國產大語言模型前后兩次評分的相關度低、穩(wěn)定性較差，而前后兩次評級的相關度高、穩(wěn)定性較好；在評語的準確率方面，國產大語言模型在內容選擇、篇章結構方面的作文評語準確率較高；在評語的穩(wěn)定性方面，國產大語言模型的評語具有生成性，前后兩次生成的評語相似度低。（剩余12012字）