数据索引概述

2025-07-29   访问量:0


自动建立数据索引,利用文件的元数据和向量语义作为查询条件,快速查找 COS 中的图片、视频、文档、音频文件。

COS 数据索引的优势

直连 COS:直接使用 COS 数据构建的数据索引,无需搬迁数据和自建检索系统。

多模态:支持多种索引类型,包括 OSS 元数据、媒体元数据、自定义元数据、向量语义;提供近百种检索条件。

高性能:实现秒级索引和聚合,支持亿级文件索引的数据集,满足大规模数据处理需求。

支持的数据检索方式

COS 支持标量检索和向量检索两种检索方式:


标量检索

向量检索

定义

基于 COS 元数据、对象 ETag、对象标签等元数据属性进行匹配查询

通过将图片文件的信息表示为向量,并利用这些向量进行语义相似性的比较和检索,实现根据文件内容进行语义查询

使用场景

文件查询、资产盘点

图库语义查询

查询条件示例

查询2024年11月1日以后上传的、私有的、标准存储的文件

查询和“番茄”相关的图片



返回结果示例

返回2024年11月1日以后上传的、标准存储的文件列表







返回和“番茄”相关的图片文件列表







选择数据检索方式

根据所需的检索条件与适用场景,参考下表选择标量检索或向量检索:

检索条件

适用场景

检索方式

COS元数据

资产盘点

标量检索

对象标签和对象ETag

数据分类统计

标量检索

自定义元数据

数据分类统计

标量检索

媒体信息

媒资管理

标量检索

向量语义(自然语言或图片)

电商商品推荐、网盘相册

向量检索

说明:

关于标量检索支持的所有元数据字段,请参见 字段和操作符的支持列表

开始使用数据检索

使用标量或向量检索 COS 数据的流程如下:







1. 用户上传图片、视频、文档、音频等文件到 COS Bucket。

2. 具备 COS 管理权限的用户为 Bucket 开启智能检索后将自动提取 COS 桶内的数据索引。

3. 自动建立包含 COS 元数据、对象 ETag、对象标签的数据索引。

4. 终端应用调用 简单查询 API 基于元数据属性进行查询。

5. COS 返回满足查询条件的数据。

说明:

COS 数据检索可通过控制台进行操作,详情请参见 标量检索向量检索

开始进行数据检索

进行标量检索和向量检索的详细步骤请参见:

标量检索

向量检索


热门文章
更多>