【資料圖】

據(jù)上海市經(jīng)信委消息，8月14日，上海人工智能實(shí)驗(yàn)室宣布，聯(lián)合中國大模型語料數(shù)據(jù)聯(lián)盟成員單位，共同開源發(fā)布“書生·萬卷”1.0多模態(tài)預(yù)訓(xùn)練語料。

“書生·萬卷”1.0目前包含文本數(shù)據(jù)集、圖文數(shù)據(jù)集、視頻數(shù)據(jù)集三部分，本次開源的數(shù)據(jù)總量超過2TB。該語料數(shù)據(jù)包含超過5億個(gè)文本，2200萬個(gè)圖文交錯(cuò)文檔，1000個(gè)節(jié)目影像視頻，具備多元融合、精細(xì)處理、價(jià)值對(duì)齊、易用高效等四大特征。

中國大模型語料數(shù)據(jù)聯(lián)盟是由上海人工智能實(shí)驗(yàn)室聯(lián)合中央廣播電視總臺(tái)、人民網(wǎng)、國家氣象中心、中國科學(xué)技術(shù)信息研究所、上海報(bào)業(yè)集團(tuán)、上海文廣集團(tuán)、上海數(shù)據(jù)集團(tuán)、上海市數(shù)商協(xié)會(huì)、金杜律師事務(wù)所等單位聯(lián)合發(fā)起成立的開放組織。

（文章來源：新華財(cái)經(jīng)）

關(guān)鍵詞：