RAG知识库优化之Rerank应用

      前面几篇文章介绍了最基本的RAG实现,也了解了RAG的基本原理。最基本的RAG 流程为用户Query问题,RAG应用在向量库查询出Context,然后将Query与 Context喂到LLM,LLM生成满足Query的Response答案。       从这里可以存在三元组: Query

RAG知识库的可靠性评估(二)

        上篇文件介绍了RAG优化与评估的基本概念,以及使用TruLens-Eval在没有Ground-truth的情况下评估RAG应用。本篇文件主要是使用Ragas对RAG应用进行评估;         使用了Gagas生成合成测试数据集,在只有知识库文档并没有Ground-truth(真实

Ray一个通用分布式计算框架基本使用

  Ray一个开源的通用分布式计算框架,支持传统的并行任务并支持AI模型的分布式训练,分布式任务包括有状态与无状态任务;Ray提供了统一的接口提供了基于任务的并行计算与基于行动器的计算,前者通常用于无状态的任务后者用于有状态的任务;Ray为一个具有高可扩展性、容错性的分布式计算集群框架;集群即可逻辑

使用Langchain与ChatGLM实现本地知识库(二)

  大语言模型也只是将用户提供的大规模数据集训练而来,也并非万能的什么都知道,特别是一些小众知识、内部数据或私密的个人数据等,此时ChatGLM3肯定会胡乱回答就是ChatGPT4也不一定能给出满意回答;不少公司、个人都有自己的知识库或日志等此时如有可将这些数据以某种方式挂在大模型上此时在知识库存在

使用LangChain与ChatGLM实现本地知识库(一)

  本篇主要内容为介绍ChatGLM3的安装使用,后续才会涉及到使用LangChain实现本地知识库的内容;   ChatGLM为智谱与清华大学开源的一个大语言模型,支持多轮对话、内容创作等,ChatGLM3-6B为ChatGLM3系列中门槛相对较低的一个,本地部署提供兼容OpenAI的API;  

使用GFPGAN修复美化老照片

  老照片修复利器GFPGAN,该模型为腾讯2021年开源的一个用于图片人脸复原修复的GAN模型;我们都有很多老照片,很多很久以前用两三百万像素拍的照片或原文件丢失了,只剩下压缩文件或QQ空间里面的老照片,现在一些App也支持老照片修复但往往效果不太理想或都需要收费;这时可以使用GFPGAN对相片进

Python中的属性注册

  在阅读有些Python的开源项目源码时,会看到某些对象调用了一个方法,但在该对象当中却又找不到该方法。还可能会看到在调用某个方法是并不是直接调用而是使用了getattr这个方法;好在现在IDE比较智能,通常也还能够关联找得到该方法;   调用对象本身没有存在的方法属性、间接调用方法,下面看看在P

Python常用库—tqdm

tqdm Tqdm库比较常用,用于显示进度条。 简单用法: from tqdm import tqdm for i in tqdm(range(2)): pass 100%|███████████████████| 2/2 [00:00<00:00, 1998.72it/s]  

Python与线性代数基本概念

在Python中使用Numpy创建向量: x = np.array([1, 2, 3, 4]) 创建3 x 3矩阵 B = np.array([[1, 2],[3, 4],[5, 6]]) Shape形状,也可称为维度,表示矩阵中每个维度的具体数值; B.shape 3 x 2 转置 行
Your browser is out-of-date!

Update your browser to view this website correctly. Update my browser now

×