支持200K超长上下文、一次可读30万汉字，“书生·浦语”2.0正式开源

　　1月17日，商汤科技与上海AI尝试室连系香港中文大学和复旦大学正式宣布新一代大说话模子诗人·浦语2.0（InternLM2）。InternLM2 的焦点理念在于回归说话建模的本质，致力于通过进步语料质量及信息密度，实现模子基座说话建模手段质的晋升，进而在数理、代码、对话、创作等各方面都取得长足前进，综合机能到达开源模子的领先程度。

　　InternLM2是在2.6万亿token的高质量语料上实习获得的。沿用第一代诗人·浦语（InternLM）的设定，InternLM2包括7B及20B两种参数规格及基座、对话等版本，满意差异伟大应用场景需求，继承开源，提供免费商用授权。

　　开源链接

　　Github：https://github.com/InternLM/InternLM

　　HuggingFace：https://huggingface.co/internlm

　　ModelScope：https://modelscope.cn/organization/Shanghai_AI_Laboratory

　　回归说话建模本质，筑牢大模子手段基本

　　大模子的研究应回归说话建模本质，大模子各项机能晋升的基本在于说话建模手段的加强。为此，连系团队提出了新一代的数据洗濯过滤技能，通过更高质量的语料以及更高的信息密度，筑牢大模子手段基本。

　　首要成长了以下几个方面的技能要领：

　　多维度数据代价评估：基于文本质量、信息质量、信息密度等维度对数据代价举办综合评估与晋升；

　　高质量语料驱动的数据富集：操作高质量语料的特性从物理天下、互联网以及语料库中进一步富集相同语料；

　　针对性的数据补齐：针对性增补语料，重点增强实际天下常识、数理、代码等焦点手段。

　　今朝，浦语背后的数据洗濯过滤技能已经验三轮迭代进级。仅行使约60%的实习数据即可到达行使第二代数据实习1T tokens的机能示意，模子实习服从大幅晋升。

　　第三代数据洗濯过滤技能大幅度晋升模子实习服从

　　基于第三代数据洗濯过滤技能，InternLM2说话建模手段实现了明显加强。

　　与第一代InternLM对比，InternLM2在大局限高质量的验证语料上的Loss漫衍整体左移，表白其说话建模手段实质性加强

　　支持200K超长上下文，“大海捞针”近乎美满

　　长语境输入及领略手段可以或许明显拓展大模子应用场景，好比支持大型文档处理赏罚、伟大的推理演算和现实场景的器材挪用等。然而，大模子有限的上下文长度当前还是学界及业内面对的重要困难。通过拓展实习窗口巨细和位置编码改造，InternLM2支持20万 tokens的上下文，可以或许一次性接管并处理赏罚约30万汉字（约五六百页的文档）的输入内容，精确提取要害信息，实现长文本中“大海捞针”。

　　参考业界典型，研究职员对InternLM2举办了“大海捞针”试验：将要害信息随机插入一段长文本的差异位置并配置题目，测试模子可否从中提取出要害信息。

　　InternLM2“大海捞针”试验结果

　　上图展示了InternLM2在差异长度的上下文（横轴）及上下文中差异位置（纵轴）上召回要害信息的精确率（Recall）。赤色代表较低的召回精确率，而绿色则代表较高的召回率。试验功效表白，InternLM2在上下文长度延展到200K时仍旧保持了近乎美满的召回乐成率，验证了InternLM2对付超长上下文坚硬的支持手段。

　　为测试InternLM2在真实长文本处理赏罚使命中的手段，研究职员将一份时长3小时的果真集会会议灌音转录稿输入模子中，并要求InternLM2从中提取出要害信息。测试功效表白，尽量在未校对的文本中存在较多错别字，但InternLM2仍从中精确提炼出了要害信息，并总结了要害讲话人的概念。

　　InternLM2精确总结“连系国2023年10月2日召开的连系国商业和成长集会会议集会会议记录”

　　机能全面晋升，综合领先同量级开源模子

　　InternLM2的各项手段得到全面前进，对比于初代InternLM，在推理、数学、代码等方面的手段晋升尤为明显，综合手段领先于同量级开源模子。

　　按照大说话模子的应用方法和用户存眷的重点规模，研究职员界说了说话、常识、推理、数学、代码、测验等六个手段维度，在55个主流评测集上对多个同量级模子的示意举办了综合评测。评测功效表现，InternLM2的轻量级及中量级版天机能在同量级模子中示意优秀。

　　InternLM2的轻量级及中量级版天机能在同量级开源模子中示意优秀

　　下面的表格比拟了InternLM2各版本与ChatGPT（GPT-3.5）以及GPT-4在典范评测集上的示意。可以看到，InternLM2只用20B参数的中等局限，即在整体示意上到达了与ChatGPT比肩的程度。个中，在AGIEval、 BigBench-Hard（BBH）、GSM8K、MATH等对推理手段有较高要求的评测上，InternLM2示意乃至优于ChatGPT。

　　InternLM2与ChatGPT的评测功效比拟

　　与此同时，综合机能的加强，带来了下流使命的全方位手段晋升。新宣布的InternLM2提供优越的对话及创作体验，支持多轮使命筹划及器材挪用，并提供适用的数据说明手段。

　　对话及创作：更温情、更富想象力

　　InternLM2不只在客观机能指标上晋升明显，在主观体验上也有明明改进，可觉得用户提供优越的对话和交互体验。研究测试表白，InternLM2-Chat可以精准地领略和遵循用户意图，具备较强的共情手段和富厚的布局化创作手段。下面展示几个示例：

　　示例一：在严酷的名目要求下体例课程纲要

　　InternLM2计划的课程纲要精准遵循用户要求（好比名目、数目、内容等）。

　　示例二：以富有人文眷注的答复开解用户

　　InternLM2可以或许在对话中与用户“共情”

　　示例三：睁开想象力，编写《流离地球3》的脚本

　　InternLM2计划的具备布满富厚的合抱负象，好比外星遗迹、量子胶葛的引入等。同时整个故事示意了人类面临危急时的勇气和连合精力。