Marker:强大的开源文档转换工具
最近项目里遇到了一些解析层面上的问题,主要是输入的文本如何高效解析出好的内容,刚开始用的是 markitdown,最近微软新开源的一个项目,但是遇到了一个很明显的问题就是把内容切的很碎,导致几乎无法使用了,后来又找了几个 MinerU,但是效果还是不行,后来又继续找,找到了这个项目,感觉效果还不错,所以分享一下。 ...
最近项目里遇到了一些解析层面上的问题,主要是输入的文本如何高效解析出好的内容,刚开始用的是 markitdown,最近微软新开源的一个项目,但是遇到了一个很明显的问题就是把内容切的很碎,导致几乎无法使用了,后来又找了几个 MinerU,但是效果还是不行,后来又继续找,找到了这个项目,感觉效果还不错,所以分享一下。 ...
本文探讨了一种结合 AWS S3、Qdrant 向量数据库和 MySQL 的文件处理和存储机制,旨在提供高效的文件上传、存储和检索方案,支持语义搜索和元数据管理。 在开发过程中,我们经常需要处理文件上传、存储和检索的需求。本文将探讨一种结合 AWS S3、向量数据库(如 Qdrant)和 MySQL 的同步机制,旨在提供一种高效的文件处理和存储方案。通过这种方法,我们不仅能够存储文件的原始数据,还能实现高效的语义搜索和元数据管理。 ...
一、同步机制核心思路 Qdrant作为高性能向量数据库,与MySQL关系型数据库的同步,本质是实现结构化数据与向量化数据的双向一致性。以下是两种典型的同步模式: 二、简单同步机制 适用场景:中小规模数据、轻量级应用 架构流程: ...
本文介绍了SGLang,一个旨在解决传统LLM推理框架在复杂交互场景中性能瓶颈的高效推理框架。SGLang通过共享前缀缓存、约束解码加速等技术优化内存与计算效率,并简化编程模型,支持控制流和并行处理,降低复杂LLM程序的开发成本。 ...
本文详细分析了当前主流的RAG与Agent框架(Dify、RagFlow、FastGPT)、模型部署框架(Ollama、LocalAI、xInference)以及多Agent系统(CrewAI、Phidata、Vanna)的优劣势及适用场景,帮助开发者选择合适的技术方案。 ...
本文探讨了如何利用Python和DeepSeek API开发一个自动化工具,用于高效生成博客文章的元数据,包括标题、描述、标签和分类,从而提升写作效率和SEO优化。 ...
自我感受 作为一个开发者,我用过AutoGen和LangGraph,下面是我的一些对比: 先说说AutoGen吧,它在代理合作方式上,就像大家围坐在一起讨论,信息共享,交流起来特别自然、直观,就拿模拟客户支援团队来说,不同专长的代理能像在真实会议中那样互动,特别方便。而且它提供了直接修改基础类的入口,当我要在对话流程里加入特定业务逻辑时,能很轻松地达成,这一点对开发定制化功能太友好了。还有它明确指定一个代理执行函数,这让代码看着特别整洁,结构清晰。 ...
技术迁移实践报告:从vLLM到SGLang的体验 1. 迁移背景与动机 在初始项目中,我们选择vLLM作为推理框架,主要基于其高效的吞吐能力(经测试,单A100 GPU可支持每秒120+请求)及成熟的PagedAttention内存管理机制。然而,随着业务需求复杂化,以下痛点逐渐显现: ...
今天给大家介绍一下师兄主导和我一起开发的一个基于大模型 RAG 技术的知识库与知识图谱问答平台,项目名称叫 Yuxi-Know。 https://github.com/xerrors/Yuxi-Know 该项目前身:KnowledgeGraph-based-on-Raw-text-A27 我们是基于最早的基于 uie 抽取的实体关系,然后构建的知识图谱,然后基于知识图谱进行问答,在 graphRAG 出来后,我们又基于 graphRAG 进行了重构,并增加了知识库的支持。 ...
本文详细介绍了Mem0开源项目的核心功能、应用场景以及快速入门指南。Mem0通过增强的智能记忆层,提升AI助手和智能体在不同场景下的适应性与互动质量,适用于客户支持、健康管理、生产力工具等多个领域。 ...