RAG知识库的可靠性评估(二)

        上篇文件介绍了RAG优化与评估的基本概念,以及使用TruLens-Eval在没有Ground-truth的情况下评估RAG应用。本篇文件主要是使用Ragas对RAG应用进行评估;         使用了Gagas生成合成测试数据集,在只有知识库文档并没有Ground-truth(真实

RAG知识库的可靠性评估(一)

    在开发基于LLM的RAG应用并准备将其上线应用时,都会比较关注RAG的性能、质量、可靠性其回答的结果准确性到底如何,甚至可以说RAG的质量可靠性其重要性要大于性能,RAG“调好了”看上去效果不错,有没有什么方法去量化度量RAG应用的质量也至关重要,下图为RAG应用度量质量指标分布图。 何为

自动求导实现与可视化

    micrograd为一个自动梯度引擎,其实现了反向传播算法,用于学习理解深度学习中的自动求导原理。自动求导无论再传统的机器学习中还是深度学习或是目前非常热门的大语言模型GPT中其都是非常重要基础部分。     反向传播算法可以高效计算出神经网络中损失函数关于训练权重的梯度,使得可通过快速迭代

Ray一个通用分布式计算框架基本使用

  Ray一个开源的通用分布式计算框架,支持传统的并行任务并支持AI模型的分布式训练,分布式任务包括有状态与无状态任务;Ray提供了统一的接口提供了基于任务的并行计算与基于行动器的计算,前者通常用于无状态的任务后者用于有状态的任务;Ray为一个具有高可扩展性、容错性的分布式计算集群框架;集群即可逻辑

使用Langchain与ChatGLM实现本地知识库(二)

  大语言模型也只是将用户提供的大规模数据集训练而来,也并非万能的什么都知道,特别是一些小众知识、内部数据或私密的个人数据等,此时ChatGLM3肯定会胡乱回答就是ChatGPT4也不一定能给出满意回答;不少公司、个人都有自己的知识库或日志等此时如有可将这些数据以某种方式挂在大模型上此时在知识库存在

使用LangChain与ChatGLM实现本地知识库(一)

  本篇主要内容为介绍ChatGLM3的安装使用,后续才会涉及到使用LangChain实现本地知识库的内容;   ChatGLM为智谱与清华大学开源的一个大语言模型,支持多轮对话、内容创作等,ChatGLM3-6B为ChatGLM3系列中门槛相对较低的一个,本地部署提供兼容OpenAI的API;  

使用GFPGAN修复美化老照片

  老照片修复利器GFPGAN,该模型为腾讯2021年开源的一个用于图片人脸复原修复的GAN模型;我们都有很多老照片,很多很久以前用两三百万像素拍的照片或原文件丢失了,只剩下压缩文件或QQ空间里面的老照片,现在一些App也支持老照片修复但往往效果不太理想或都需要收费;这时可以使用GFPGAN对相片进

一篇用AI生成图片与内容的文章

图片生成与解释   让New Bing画一张图片,生成了四张图片小图看上去还可以,但放大细节还不够好公路可能都不是直的,图片的内容中和海南不太贴合,在海南海边并没有那么高的山,四张勉强一两张能用;   目前New Bing还不支持中文提示词,但是可以先让它生成一些英文的内容,再用中文去提问这时很大概

对ChatGPT的几个提问,当码农小帮手可行

  ChatGPT能说会到,还能写代码修Bug,今天就验证它的IT相关知识能力,容器的使用、代码理解编写的能力等,目前看ChatGPT的水平还是很高,虽然之前通过搜索引擎也能够获取得到,但是搜索精准程度还是差得很多并不是第一时间就能够找到自己想要的答案;   ChatGPT在代码理解、编写代码方面视

使用LabelImg标注图片

  要训练自己的模型、需要标注图片,好在现在标注工具比较简单几乎傻瓜化了。这里使用LabelImg对图片进行标注; LabelImg安装 conda create -n labelImg python=3 conda activate labelImg conda install pyqt=5 co
Your browser is out-of-date!

Update your browser to view this website correctly. Update my browser now

×