cq9电子平台网站：大模型都会标注图像了简单对话即可!来自清华NUS

　　只需用自然语言描述需求，模型就能分分钟标注出要寻找的物体，并做出文字解释。

　　在其背后提供支持的，是新加坡国立大学NExT++实验室与清华刘知远团队一同打造的全新多模态大模型。

　　随着GPT-4v的登场，多模态领域涌现出一大批新模型，如LLaVA、BLIP-2等等。

　　为了进一步扩展多模态大模型的区域理解能力，研究团队打造了一个可以同时进行对话和检测、分割的多模态模型NExT-Chat。

　　NExT-Chat的最大亮点，是在多模态模型中引入位置输入和输出的能力。

　　其中位置输入能力指的是根据指定的区域回答问题(下方左图);位置输出能力指的则是定位对话中提及的物体(下方右图)：

　　为了准确评估NExT-Chat的表现，研究团队在多个任务数据集上进行了测试。

　　作者首先展示了NExT-Chat在指代表达式分割(RES)任务上的实验结果。

　　虽然仅仅用了极少量的分割数据，NExT-Chat却展现出了良好的指代分割能力，甚至打败了一系列有监督模型(如MCN，VLT等)和用了5倍以上分割掩模标注的LISA方法。

　　如下表所示商业模型，相比于相当一系列的有监督方法(如UNITER)，NExT-Chat都可以取得更优的效果。

　　一个有意思的发现是NExT-Chat比使用了类似框训练数据的Shikra效果要稍差一些。

　　作者猜测，这是由于pix2emb方法中LM loss和detection loss更难以平衡，以及Shikra更贴近现有的纯文本大模型的预训练形式导致的。

　　在图像幻觉任务上，如表3所示，NExT-Chat可以在Random和Popular数据集上取得最优的准确率。

　　在区域描述任务上，NExT-Chat也能取得最优的CIDEr表现，且在该指标打败了4-shot情况下的Kosmos-2。

　　比如Kosmos-2将图像划分成32x32的区块，用每个区块的id来代表点的坐标;Shikra将物体框的坐标转化为纯文本的形式从而使得LLM可以理解坐标。

　　但使用pix2seq方法的模型输出主要局限在框和点这样的简单格式，而很难泛化到其他更密集的位置表示格式，比如segmentation mask。

　　为了解决这个问题，本文提出了一种全新的基于embedding的位置建模方式pix2emb。

　　不同于pix2seq，pix2emb所有的位置信息都通过对应的encoder和decoder进行编码和解码，而不是借助LLM本身的文字预测头。

　　这样做带来了两个好处：模型的输出格式可以非常方便的扩展到更多复杂形式，比如segmentation mask。 模型可以非常容易的定位任务中已有的实践方式，比如本文的detection loss采用L1 Loss和GIoU Loss (pix2seq则只能使用文本生成loss)，本文的mask decoder借助了已有的SAM来做初始化。

　　为了解决LLM不知道何时该使用语言的LM head还是位置解码器的问题，NExT-Chat额外引入一个全新的token类型来标识位置信息。

　　如果模型输出了，则该token的embedding会被送入对应的位置解码器进行解码而不是语言解码器。

　　此外，为了维持输入阶段和输出阶段位置信息的一致性，NExT-Chat额外引入了一个对齐约束：

　　如上图所示，box和位置embedding会被分别通过解码器、编码器或解码器编码器组合，并要求前后不发生变化。

　　而NExT-Chat的模型训练主要包括3个阶段： 第一阶段：训练模型基本的框输入输出基本能力。NExT-Chat采用Flickr-30K，RefCOCO，VisualGenome等包含框输入输出的数据集进行预训练。训练过程中，LLM参数会被全部训练。 第二阶段：调整LLM的指令遵循能力。通过一些Shikra-RD，LLaVA-instruct之类的指令微调数据使得模型可以更好的响应人类的要求，输出更人性化的结果。 第三阶段：赋予NExT-Chat模型分割能力。通过以上两阶段训练，模型已经有了很好的位置建模能力。作者进一步将这种能力扩展到mask输出上。实验发现，通过使用极少量的mask标注数据和训练时间(大约3小时)，NExT-Chat可以快速的拥有良好的分割能力。

　　NExT-Chat通过在充沛的检测框数据训练基本的位置建模能力，之后可以快速的扩展到难度更大且标注更稀缺的分割任务上。

　　文章内容仅供阅读，不构成投资建议，请谨慎对待。投资者据此操作，风险自担。

　　10月16日晚，Apple CEO Tim Cook现身Apple成都太古里，并参与了一场Today at Apple课程。期间，腾讯互娱天美L1工作室总经理、Honor of Kings制作人黄蓝枭与Tim就技术问题进行了深入交流，并与他一起观看了一场王者荣耀BO3表演赛。

　　上海车展正在火热进行中，一汽大众在2023上海车展中带来了ID家族的旗舰轿车产品，ID.7 VIZZION，新车基于MEB平台打造而来，预计将于今年下半年正式上市。

　　5月18日，为了帮助中小企业解决定为难、运营难、资金难、人才难、资源难等问题，杭州市市场营销协会组织多家专业机构联合举办“名企游学，走进上市公司”活动，通过学习交流赋能中小企业更好地完成转型升级。此次活动走进“A股互联网第一股”浙江网盛生意宝股份有限公司。

　　5月18日，由京东携手爱空间整装举办的京东装修自营业务新品发布会暨京东联合爱空间整装新品媒体见面会正式召开。