willow

command module
v0.0.0-...-b291fa2 Latest Latest
Warning

This package is not in the latest version of its module.

Go to latest
Published: Oct 22, 2021 License: MIT Imports: 8 Imported by: 0

README

Willow

画像标签相关。
探讨如何能轻量化低成本的处理大量消费者标签的快速查询问题。

思路

两种思路:(本项目仅验证第一种思路,第二种思路见Willow2)

  • 消费者标签表按照通用的关系表模式进行设计,它应该表现为一个稀疏矩阵,借助 go-memdb 的特性,在内存中 存储消费者标签数据,其每个标签列均做成索引,允许索引列值缺失,以此减少存储空间,提高检索效率。
  • 将消费者标签展开,每个标签只有 两个状态,只占1个bit的存储空间。按顺序将标签排列起来,每 每个消费者的所有标签的存储则变为了 N 个 bit 的数组,N 等于标签个数。这样其占据的空间会非常小,在检索时, 将检索条件同样按照标签排序组成一个 N 位的 bit 数组作为检索数组,将检索数组与目标数组执行按位与操作即可。 此种方法在查询标签较多时应该可以有效保证检索速度。

逻辑架构

待决问题

License

Copyright © 2021 - 2025 rjguanwen
Released under MIT license, see LICENSE for details.

Documentation

The Go Gopher

There is no documentation for this package.

Directories

Path Synopsis
@Title config.go @Description 加载配置文件信息,供其他功能使用 @Author zhengbin 2021/9/13 16:00
@Title config.go @Description 加载配置文件信息,供其他功能使用 @Author zhengbin 2021/9/13 16:00
@Title 请填写文件名称(需要改) @Description 请填写文件描述(需要改) @Author zhengbin 2021/9/8 16:52
@Title 请填写文件名称(需要改) @Description 请填写文件描述(需要改) @Author zhengbin 2021/9/8 16:52
@Title dbinit @Description 标签数据库初始化 @Author zhengbin 2021/9/13 14:54
@Title dbinit @Description 标签数据库初始化 @Author zhengbin 2021/9/13 14:54
@Title commUtil.go @Description 包含常用的方法的工具类 @Author zhengbin 2020/7/23 19:17
@Title commUtil.go @Description 包含常用的方法的工具类 @Author zhengbin 2020/7/23 19:17

Jump to

Keyboard shortcuts

? : This menu
/ : Search site
f or F : Jump to
y or Y : Canonical URL