跳到主要内容

ASCII Folding

asciifolding filter 将基本拉丁 Unicode 块（前 127 个 ASCII 字符）之外的字符转换为其 ASCII 等效字符。例如，它将 í、ò、ü 等字符转换为 i、o、u。

配置​

asciifolding filter 是内置在 Milvus 中的。要使用它，只需在 analyzer_params 内的 filter 部分中指定其名称即可。

PythonJavaNodeJSGocURL
analyzer_params = {
    "tokenizer": "standard",
    "filter": ["asciifolding"],
}
Map<String, Object> analyzerParams = new HashMap<>();
analyzerParams.put("tokenizer", "standard");
analyzerParams.put("filter", Collections.singletonList("asciifolding"));
const analyzer_params = {
    "tokenizer": "standard",
    "filter": ["asciifolding"],
};
analyzerParams = map[string]any{"tokenizer": "standard", "filter": []any{"asciifolding"}}
# restful
analyzerParams='{
  "tokenizer": "standard",
  "filter": [
    "asciifolding"
  ]
}'

asciifolding filter 对 tokenizer 生成的 term 进行操作，因此必须与 tokenizer 结合使用。

定义 analyzer_params 后，您可以在定义 collection schema 时将其应用于 VARCHAR field。这允许 Milvus 使用指定的 analyzer 处理该 field 中的文本，以实现高效的分词和过滤。有关详细信息，请参阅 示例使用。

示例​

在将 analyzer 配置应用到您的 collection schema 之前，使用 run_analyzer 方法验证其行为。

Analyzer 配置​

PythonJavaNodeJSGocURL
analyzer_params = {
    "tokenizer": "standard",
    "filter": ["asciifolding"],
}
Map<String, Object> analyzerParams = new HashMap<>();
analyzerParams.put("tokenizer", "standard");
analyzerParams.put("filter", Collections.singletonList("asciifolding"));
// javascript
analyzerParams = map[string]any{"tokenizer": "standard", "filter": []any{"asciifolding"}}
# restful

使用 run_analyzer 验证​

PythonJavaNodeJSGocURL
# Sample text to analyze
sample_text = "Café Möller serves crème brûlée and piñatas."

# Run the standard analyzer with the defined configuration
result = MilvusClient.run_analyzer(sample_text, analyzer_params)
print(result)
// java
// javascript
// go
# restful

预期输出​

['Cafe', 'Moller', 'serves', 'creme', 'brulee', 'and', 'pinatas']