是 pinecone 提供了直观的 ApI 和友好的用户界面，如图 4.2 与图 4.3 所示，使得开发者可以轻松

    地创建索引、存储向量数据以及执行查询操作。

    weaviate 是一个向量搜索引擎数据库，它专注于连接和管理分散的数据，并通过语义链接来

    解析和查询这些数据。它的主要功能包括语义搜索、数据链接和知识图谱构建。weaviate 的关键在于什么呢？

    我也不太知道。

    为什么又开了一个讲座。

    居然还留了作业。

    以快速地查询和计算相似度，支持高效的数据查询。这种表示方式使得向量知识库能够有效支持近

    似搜索，即在巨大的数据集中快速找到与查询最为接近的项。同时，向量知识库不受传统关系型数

    据库模式的限制，提供了更大的灵活性。它们能够处理多种类型的数据，包括文本、图像、音频和电影等。

    那作业怎么写？

    我怎么知道啊，下周还要打分！

    纸巾，湿纸巾，消毒湿巾，干巴的沾水洗脸巾，牙膏牙刷，一小瓶漱口水，洗发水小样，沐浴露一小瓶，洗面奶一小个，面霜，仨面膜，防晒霜。

    拖鞋，一次性纸杯几个，洗完澡的毛巾。

    自我评价

    -学习能力：对于新的领域保持好奇心，具有较强的学习能力，能够快速掌握新的知识。

    -沟通能力：沟通能力强，能够掌握沟通技巧，善于维护各方关系并进行跨部门协作。

    基于大语言模型（LLm）的英文文献解析

    -选取大量专业领域的英文文献数据进行处理，使用python对数据进行分模块读取。

    -特征提取，将所有元素转换为向量，构建专业领域的向量知识库。

    -通过chatbot模式，进行模型优化，检验模型是否能调用专业领域向量数据库回答专

    业性问题和时效性问题的有效性。

    总之，我们的贡献如下：我们将多模态的检索增强生成技术确立为随着近来词法管理领域的进步而出现的一组重要方法。对于常见的模式，我们对研究论文进行了深入评述，分析了它们之间的内在联系和共同面临的挑战。我们对未来的发展方向进行了翔实的分析，其中可能包含应对当前许多挑战的有前途的解决方案。2定义和背景为了更好地了解激发多模态检索增强的现状和进展，我们首先定义并讨论了两个关键概念的背景：多模态学习和检索增强生成（RAG）。2.1多模态学习多模态学习是指学习不同模态数据的统一表征。它的目的是提取互补信息，以促进合成任务的完成（baltrusaitis et al.baltrusaitis et al., 2018; Gao et al., 2020). 在这项调查中，我们包括了所有格式不同于自然语言的模式，其中包括图像、代码、结构化知识（如......例如 表、知识图谱）、音频和视频。

    3多模态检索-增强生成每种模式都有不同的检索和合成程序、目标任务和挑战。因此，我们按图像、代码、结构化知识、音频和视频等模式对相关方法进行分组讨论。3.1图像预训练模型的最新进展为一般图像-文本多模态模型提供了启示。

    然而，这些模型需要大量的计算资源进行预训练，并需要大量的模型参数--因为它们需要记忆大量的世界知识。更关键的是，它们无法有效处理新知识或领域外知识。为此，人们提出了多种检索增强方法，以更好地整合图像和文本文档中的外部知识。在一般的文本生成任务中，图像检索也可以通过扩展文本生成语境来提高生成质量，从而增加 \&想象力\&。视觉问题解答（VqA） 为了解决开放域的 VqA 问题，RA-VqA (Lin 和 byrne, 2022b) 通过对检索到的文档进行近似边际化预测，联合训练文档检索器和答案生成模块。它首先利用现有的对象检测、图像标题和光学字符识别（ocR）工具将目标图像转换为文本数据。然后，它执行密集段落检索（dpR）。

    也将 LLm 视为隐式知识库，并从 Gpt-3 中提取相关隐式信息。即插即用 利用 根据初始问题定位相关部分。然后，它对检索到的图像补丁执行图像标题处理，以获取增强上下文。除了纯文本增强上 同时检索文本和图像数据，并将图像作为视觉标记。RAmm(Yuan et al., 2023) 检索类似的生物医学图像和标题，并通过不同的网络对其进行编码。图像标题 生成多种风格的标题、 周和龙 (2023)在生成标题前使用了一种风格感知视觉编码器来检索图像内容。除了对视觉信息进行简单的编码外，cho 等人还使用了视觉编码器、 cho et al. (2022) 进一步使用图像-文本对之间的多模态相似性作为奖励函数来训练更精细的字幕模型。除了检索图像元素外、

    过检索新闻文章中的视觉基础实体来处理新闻图片标题。视觉基础对话Lee et al., 2021b) 要求检索视觉信息以生成相关的对话回复。Fan et al. (2021)用基于 KNN 的信息获取（KIF）模块增强了生成模型，该模块可检索图像和维基知识。梁等人 (2021)从图像索引中检索与对话框相关的图像，作为响应生成器的基础。Shen 等人 (2021)训练了一个单词-图像映射模型来检索反应的视觉印象，然后使用文本和视觉信息生成反应。文本生成 对于一般的文本生成任务，图像检索也可以帮助扩展上下文。杨等人 (2022a）通过检索现有图像和合成新生成的图像来增强文本模型的 \&想象力\&。因此，为语言模型注入想象力可以提高许多下游自然语言任务的性能。类似的例子还有 Zhu 等人 (2023)将 \&想象力 \&。

    增强与合成图像和检索图像进行了比较，认为机器生成的图像由于更好地考虑了上下文，可以提供更好的指导。此外，Fang 和 Feng 等人的研究也证明了这一点、 Fang 和 Feng (2022)表明，通过检索短语级别的视觉信息，机器翻译可以得到显着改善，尤其是在文本上下文有限的情况下。图像 RAG 还能帮助医疗报告生成等低资源任务。

    可以生成图像和文本的混合物。它表明，在知识密集型生成任务中，检索增强图像生成的效果要好得多，并开辟了多模态上下文学习等新功能。3.2代码软件开发人员试图从大量可用资源中搜索相关信息，以提高工作效率。未知术语的解释、可重复使用的代码补丁以及常见程序错误的解决方案等。xia et al., 2017). 在 NLp 深度学习进展的启发下，通用检索-增强生成范式已使包括代码补全在内的各种代码智能任务受益匪

    同时考虑了未完成代码片段的词汇和语义

    信息，利用混合技术将基于词汇的稀疏检索器和基于语义的密集检索器结合起来。首先，混合检索

    器根据给定的未完成代码从代码库中搜索相关代码。然后，将未完成代码与检索结果连接起来，并

    由自动回归代码完成生成器根据它们生成完成代码。为了处理项目关系，