LangChain-20 Document Loader 文件加载 加载MD DOCX EXCEL PPT PDF html json 等多种文件格式 后续可通过FAISS向量化 增强检索
2024-06-22LangChain 提供了多种文档加载器,包括但不限于以下几种:- TextLoader:用于从各种来源加载文本数据。- CSVLoader:用于加载 CSV 文件并将其转换为 LangChain 可以处理的文档格式。- UnstructuredFileLoader:能够自动检测并处理不同格式的文件。- DirectoryLoader:用于加载指定文件夹中的文件。- UnstructuredHTMLLoader:用于从 HTML 文件中提取有意义的内容。- JSONLoader:用于加载和处理 _langchain excel
LangChain-21 Text Splitters 内容切分器 支持多种格式 html json md Code(JS/Py/TS/etc) 进行切分并输出 方便将数据进行结构化后检索
2024-08-25LangChain提供了多种类型的Text Splitters,以满足不同的需求:- RecursiveCharacterTextSplitter:基于字符将文本划分,从第一个字符开始。如果结果片段太大,则继续划分下一个字符。这种方式提供了定义划分字符和片段大小的灵活性。- CharacterTextSplitter:类似于RecursiveCharacterTextSplitter,但能够指定自定义分隔符以实现更具体的划分。默认情况下,它尝试在如“\n\n”、“\n”和空格等字符上进行分割。- Re_tokentextsplitter