大語言模型文檔圖像智能問答指令設(shè)計與微調(diào)方法實證研究

打開文本圖片集

摘要：文檔圖像智能問答是實現(xiàn)數(shù)字圖書館智能化的關(guān)鍵技術(shù)之一?；诙嗄B(tài)預(yù)訓(xùn)練模型的文檔圖像智能問答技術(shù)能有效實現(xiàn)文本、視覺和布局信息的融合，但通常需要進(jìn)行針對性的微調(diào)訓(xùn)練，成本高且無法應(yīng)用于一些數(shù)據(jù)資源稀缺的場景。以ChatGPT為代表的大語言模型具有良好的零樣本學(xué)習(xí)能力，無需針對性微調(diào)即可在各個下游任務(wù)上取得良好表現(xiàn)，但大語言模型只能處理純文本指令，無法直接處理文檔圖像。（剩余22794字）