跳到主要内容

Alpha Num Only

alphanumonly filter 删除包含非 ASCII 字符的 token，只保留字母数字术语。当您想要专注于基本字母和数字的文本处理时，此过滤器非常有用。

配置​

alphanumonly filter 是内置在 Milvus 中的。要使用它，只需在 analyzer_params 内的 filter 部分中指定其名称即可。

PythonJavaNodeJSGocURL
analyzer_params = {
    "tokenizer": "standard",
    "filter": ["alphanumonly"],
}
Map<String, Object> analyzerParams = new HashMap<>();
analyzerParams.put("tokenizer", "standard");
analyzerParams.put("filter", Collections.singletonList("alphanumonly"));
const analyzer_params = {
    "tokenizer": "standard",
    "filter": ["alphanumonly"],
};
analyzerParams = map[string]any{"tokenizer": "standard", "filter": []any{"alphanumonly"}}
# restful
analyzerParams='{
  "tokenizer": "standard",
  "filter": [
    "alphanumonly"
  ]
}'

alphanumonly filter 对 tokenizer 生成的 term 进行操作，因此必须与 tokenizer 结合使用。

定义 analyzer_params 后，您可以在定义 collection schema 时将其应用于 VARCHAR field。这允许 Milvus 使用指定的 analyzer 处理该 field 中的文本，以实现高效的分词和过滤。有关详细信息，请参阅 示例使用。

示例​

在将 analyzer 配置应用到您的 collection schema 之前，使用 run_analyzer 方法验证其行为。

Analyzer 配置​

PythonJavaNodeJSGocURL
analyzer_params = {
    "tokenizer": "standard",
    "filter": ["alphanumonly"],
}
Map<String, Object> analyzerParams = new HashMap<>();
analyzerParams.put("tokenizer", "standard");
analyzerParams.put("filter", Collections.singletonList("alphanumonly"));
// javascript
analyzerParams = map[string]any{"tokenizer": "standard", "filter": []any{"alphanumonly"}}
# restful

使用 run_analyzer 验证​

PythonJavaNodeJSGocURL
# Sample text to analyze
sample_text = "Milvus 2.0 @ Scale! #AI #Vector_Databasé"

# Run the standard analyzer with the defined configuration
result = MilvusClient.run_analyzer(sample_text, analyzer_params)
print(result)
// java
// javascript
// go
# restful

预期输出​

['Milvus', '2', '0', 'Scale', 'AI', 'Vector']