Token Splitter（词元拆分器） 节点

Token Splitter 节点先将原始文本字符串转换为 BPE token（词元），再将这些 token 分块，并将每个块中的 token 转换回文本。

本页列出了 Token Splitter 节点的参数，并提供更多资源的链接。

信息

子节点中的参数解析

使用表达式处理多个数据项时，子节点的行为与其他节点不同。

多数节点，包括根节点，可以接收任意数量的输入数据项，处理后输出结果。你可以用表达式引用输入数据项，节点会依次对每个数据项解析表达式。例如，输入包含五个 name 值时，表达式 {{ $json.name }} 会依次解析为每个名称。

在子节点中，表达式始终解析为第一个数据项。例如，输入包含五个 name 值时，表达式 {{ $json.name }} 始终解析为第一个名称。

节点参数

• Chunk Size（块大小）：输入每个块的字符数。
• Chunk Overlap（块重叠量）：输入相邻块之间的重叠量。

模板与示例

浏览 Token Splitter（词元拆分器） 集成模板，或搜索所有模板

相关资源

该服务的更多信息，请参阅 LangChain 按 token 拆分文档和 LangChain 文本拆分器文档。

查看 n8n 的高级 AI 文档。