基于ＣＬＩＰ 的多模態(tài)視頻文本檢索系統(tǒng)

打開文本圖片集

摘 要：計(jì)算機(jī)視覺（Computer Vision，CV）與自然語言處理（Natural Language Processing，NLP）技術(shù)已逐漸趨于成熟，結(jié)合視覺和語言的多模態(tài)領(lǐng)域技術(shù)將成為學(xué)界和業(yè)界的研究熱點(diǎn)。文章使用CLIP 預(yù)訓(xùn)練模型，結(jié)合圖像與語言兩種模態(tài)信息，進(jìn)一步將圖像拓展至視頻，利用 Fmpeg 處理視頻，并對視頻與文本信息進(jìn)行嵌入（embedding）和余弦相似度匹配，從而實(shí)現(xiàn)利用純文本檢索視頻中符合該文本語義的片段。（剩余3260字）