跳到主要内容

CN Alpha Num Only

cnalphanumonly filter 删除包含中文字符、英文字母或数字以外的任何字符的 token。

配置​

cnalphanumonly filter 是内置在 Milvus 中的。要使用它，只需在 analyzer_params 内的 filter 部分中指定其名称即可。

PythonJavaNodeJSGocURL
analyzer_params = {
    "tokenizer": "standard",
    "filter": ["cnalphanumonly"],
}
Map<String, Object> analyzerParams = new HashMap<>();
analyzerParams.put("tokenizer", "standard");
analyzerParams.put("filter", Collections.singletonList("cnalphanumonly"));
const analyzer_params = {
    "tokenizer": "standard",
    "filter": ["cnalphanumonly"],
};
analyzerParams = map[string]any{"tokenizer": "standard", "filter": []any{"cnalphanumonly"}}
# restful
analyzerParams='{
  "tokenizer": "standard",
  "filter": [
    "cnalphanumonly"
  ]
}'

cnalphanumonly filter 对 tokenizer 生成的 term 进行操作，因此必须与 tokenizer 结合使用。

定义 analyzer_params 后，您可以在定义 collection schema 时将其应用于 VARCHAR field。这允许 Milvus 使用指定的 analyzer 处理该 field 中的文本，以实现高效的分词和过滤。有关详细信息，请参阅 示例使用。

示例​

在将 analyzer 配置应用到您的 collection schema 之前，使用 run_analyzer 方法验证其行为。

Analyzer 配置​

PythonJavaNodeJSGocURL
analyzer_params = {
    "tokenizer": "standard",
    "filter": ["cnalphanumonly"],
}
Map<String, Object> analyzerParams = new HashMap<>();
analyzerParams.put("tokenizer", "standard");
analyzerParams.put("filter", Collections.singletonList("cnalphanumonly"));
// javascript
analyzerParams = map[string]any{"tokenizer": "standard", "filter": []any{"cnalphanumonly"}}
# restful

使用 run_analyzer 验证​

PythonJavaNodeJSGocURL
# Sample text to analyze
sample_text = "Milvus 是 LF AI & Data Foundation 下的一个开源项目，以 Apache 2.0 许可发布。"

# Run the standard analyzer with the defined configuration
result = MilvusClient.run_analyzer(sample_text, analyzer_params)
print(result)
// java
// javascript
// go
# restful

预期输出​

['向量', '数据库', '123', 'abc']