广州电力变压器配电柜回收网9月18日 报道:近日，智源商讨院发布面向中英文语义向量模型训练的大规模文本对数据集MTP（massive text pairs）。 这是全球最大的中、英文文本对训练数据集， 数据规模达3亿对，渴望推动解决中文模型训练数据集缺乏问题。
据介绍，MTP（massive text pairs）中文记录达1亿条，英文数据达2亿条。MTP 是如今为止开源的最大规模中英文关联文本对数据集，为训练中英文语义向量模型提供了主要的基础。 该数据集囊括了各种不同的数据源，涵盖 wudao、cmrc2023、dureader、simclue、csl、amazon_reviews_multi、wiki_atomic_edits、mlqa、xlsum 以及其他一些来自互联网的数据，如社区问答、报道和文献等。 智源商酌院表示，数据对大模型训练起着至关重大的基础用意，开源亦是人工智能发展的首要推动力量。作为大陆大模型开源生态圈的代表机构，智源持续进行囊括数据在内的大模型全栈技术开源，推动人工智能合伙研发。 MTP数据集链接: https://data.baai.ac.cn/details/BAAI-MTP BGE 模型链接: https://huggingface.co/BAAI BGE 代码仓库: https://github.com/FlagOpen/FlagEmbedding （举报） (责任编辑：admin) |
