Qdrant与MySQL同步机制解析-1

一、同步机制核心思路 Qdrant作为高性能向量数据库,与MySQL关系型数据库的同步,本质是实现结构化数据与向量化数据的双向一致性。以下是两种典型的同步模式: 二、简单同步机制 适用场景:中小规模数据、轻量级应用 架构流程: ...

2025-02-01 · 3 分钟 · 1190 字 · zjding

SGLang:面向复杂LLM程序的高效推理框架

本文介绍了SGLang,一个旨在解决传统LLM推理框架在复杂交互场景中性能瓶颈的高效推理框架。SGLang通过共享前缀缓存、约束解码加速等技术优化内存与计算效率,并简化编程模型,支持控制流和并行处理,降低复杂LLM程序的开发成本。 ...

2025-01-22 · 4 分钟 · 1563 字 · zjding

主流RAG与Agent框架、模型部署框架及多Agent系统深度分析

本文详细分析了当前主流的RAG与Agent框架(Dify、RagFlow、FastGPT)、模型部署框架(Ollama、LocalAI、xInference)以及多Agent系统(CrewAI、Phidata、Vanna)的优劣势及适用场景,帮助开发者选择合适的技术方案。 ...

2025-01-04 · 7 分钟 · 3155 字 · zjding

利用Python和DeepSeek API自动生成博客元数据

本文探讨了如何利用Python和DeepSeek API开发一个自动化工具,用于高效生成博客文章的元数据,包括标题、描述、标签和分类,从而提升写作效率和SEO优化。 ...

2024-12-30 · 3 分钟 · 1177 字 · zjding

langgraph、crewai和autogen的对比

自我感受 作为一个开发者,我用过AutoGen和LangGraph,下面是我的一些对比: 先说说AutoGen吧,它在代理合作方式上,就像大家围坐在一起讨论,信息共享,交流起来特别自然、直观,就拿模拟客户支援团队来说,不同专长的代理能像在真实会议中那样互动,特别方便。而且它提供了直接修改基础类的入口,当我要在对话流程里加入特定业务逻辑时,能很轻松地达成,这一点对开发定制化功能太友好了。还有它明确指定一个代理执行函数,这让代码看着特别整洁,结构清晰。 ...

2024-12-22 · 5 分钟 · 2253 字 · zjding

从vLLM到SGLang

技术迁移实践报告:从vLLM到SGLang的体验 1. 迁移背景与动机 在初始项目中,我们选择vLLM作为推理框架,主要基于其高效的吞吐能力(经测试,单A100 GPU可支持每秒120+请求)及成熟的PagedAttention内存管理机制。然而,随着业务需求复杂化,以下痛点逐渐显现: ...

2024-12-15 · 4 分钟 · 1596 字 · zjding

Yuxi-Know:基于大模型 RAG 的知识库与知识图谱问答平台

今天给大家介绍一下师兄主导和我一起开发的一个基于大模型 RAG 技术的知识库与知识图谱问答平台,项目名称叫 Yuxi-Know。 https://github.com/xerrors/Yuxi-Know 该项目前身:KnowledgeGraph-based-on-Raw-text-A27 我们是基于最早的基于 uie 抽取的实体关系,然后构建的知识图谱,然后基于知识图谱进行问答,在 graphRAG 出来后,我们又基于 graphRAG 进行了重构,并增加了知识库的支持。 ...

2024-12-09 · 5 分钟 · 2456 字 · zjding

Mem0:为AI助手和智能体添加智能记忆层的开源项目

本文详细介绍了Mem0开源项目的核心功能、应用场景以及快速入门指南。Mem0通过增强的智能记忆层,提升AI助手和智能体在不同场景下的适应性与互动质量,适用于客户支持、健康管理、生产力工具等多个领域。 ...

2024-11-07 · 3 分钟 · 1319 字 · zjding

使用Facebook Prophet框架进行游戏异常分析的实践与优化

本文深入探讨了Facebook Prophet框架在游戏数据预测中的应用,详细介绍了其核心特性、数学模型、工程化实践及参数调优方法,并提出了未来的优化方向。 ...

2024-09-18 · 5 分钟 · 2347 字 · zjding

提升tencent crashsight 客服场景下问答对的语义召回能力

本文介绍了通过对比学习训练本地Embedding模型并结合Reranker模块,提升客服场景下问答对语义匹配能力的方法。文章详细阐述了项目背景、核心技术、数据构造流程、训练流程设计、评估与验证、部署与应用等内容。 ...

2024-08-22 · 6 分钟 · 2532 字 · zjding