时序列数据库武斗大会之 TSDB 名录 Part 1

  • 时间:
  • 浏览:2

Pinot 是六个多多开源的实时、分布式 OLAP 数据存储方案。它来自 Linkedin,觉得 Linkedin 最近估价表现很差,若果亲戚我们 创建的各种软件、上面件觉得 这麼多了。一种点亲戚亲戚我们 做软件的都应该向 Linkedin 表示感谢。

这是本系列文章的一些每项:

不过这是六个多多商业产品,若果也提供了免费版本(貌似还限制在32位)。

根据去年底 druid.io 的白皮书,现在生产环境下最大的集群规模如下:

不过 InfluxDB 每次变动都较大,尤其是在存储和集群方面,追求平平安过日子,你要瞎折腾的可否 考虑下。

KairosDB 是六个多多 OpenTSDB 的 fork,不过是基于 Cassandra 存储的。将会 Cassandra 的行比 HBase 宽,刚刚 KairosDB 的 Cassandra 的默认行大小为 3 星期,而 OpenTSDB 的 HBase 则为 1 小时。

Graphite主要由六个多多模块组成:

Druid 是六个多多快速、近实时的海量数据 OLAP 系统,若果是开源的。Druid 诞生于 Metamarkets,刚刚一些核心人员创立了 IMPLY 公司,进行 Druid 相关的产品开发。

得话总结:欣欣向荣、值得一试。

哪几个是 RRD 呢?简单来说它若果六个多多循环使用的固定大小的数据库文件(觉得 若果太像典型的数据库)。

OpenTSDB 是六个多多分布式、可伸缩的时间序列数据库。它支持豪秒级数据下发所有 metrics,支持永久存储(不需要可否 downsampling),和 InfluxDB 类式,它也是无模式,以 tag 来实现维度的概念。

和 OpenTSDB 类式,KairosDB 也提供了插件机制,我能 使用插件完成如下工作:

Druid 会按时间来进行分区(segment),若果是面向列存储的。它的主要形态如下:

kdb+是六个多多面向列的时序列数据库,以及专门为其设计的查询语言q(和亲戚我们 的域名一样简短)。Kdb+ 混合使用了流、内存和实六时析,效率更快,支持分析 10 亿级别的记录以及快速访问TB级别的历史数据。

下面,亲戚亲戚我们 就按照一种排名的顺序,简单介绍一下哪几个时序列数据库中的一些。下面要介绍的 TSDB 以开源的为主,将会是商业将会 SaaS 服务,也简单介绍一下其特点,让亲戚亲戚我们 能对一些领域的事物就有所了解。

Druid 架构比较比较复杂,若果对部署和运维就有一定的负担,比如不可否 的机器多、机器配置要高(尤其是内存)。

InfluxDB 的数据下发系统也支持多种协议和插件: - 行文本 - UDP - Graphite - CollectD - OpenTSDB

在下一篇文章中,亲戚亲戚我们 将会为各位再介绍几种时序列数据库。

InfluxDB的主要特点包括下面哪几个:

一起 KairosDB 提供了六个多多供开发用的 Web UI,图形绘制引擎使用了 Flot。

亲戚亲戚我们 先来看一下DB-Engines中关于时序列数据库的排名,这是当前(2016年2月的)排名请况:

carbon:以守护多多守护进程 的形式运行,接收数据写入请求

将会你对它的性能比较在意,这里有一份老的数据可供参考。

RRDtool 全称为 Round Robin Database Tool,也若果用于操作 RRD 的工具,简单明了的软件名。

比如,这若果它的六个多多metric例子:

OpenTSDB 的节点称为 TSD(Time Series Daemon (TSD)),它这麼主、从之分,消除了单点隐患,非常容易扩展。它主要以HBase作为存储系统,现在也增加了对 Cassandra 和 Bigtable(非云端)。

本文转自 OneAPM 官方博客

得话总结:好用,亲戚亲戚我们 的产品Cloud Insight 也在用这项技术来实现对性能指标进行聚合、分组、过滤。

得话总结:群众基础好、可否 参考。

whisper 使用了类式 RRDtool 的 RRD 文件格式,它若果像 C/S 形态的软件一样,这麼服务多多守护进程 ,若果作为 Python library 使用,提供对数据的 create/update/fetch 操作。

觉得 就人们用 ElasticSearch 将会 MongoDB 来存储时序列数据,作为更适合分类为 NOSQL 的一种个多多数据库软件,亲戚亲戚我们 这里就不对它们做介绍了。

这里亲戚亲戚我们 为亲戚亲戚我们 介绍了几种常见 TSDB,如不出意外,你将会会在这里选取某一种来使用。

Pinot 的特点和 Druid 很像,两者可互为参考。

InfluxDB 是 TSDB 中为数这麼多的进行了用户和角色方面实现的,提供了 Cluster Admin、Database Admin 和 Database User 一种角色。

KairosDB 也提供了基于 Web API 的查询接口,支持数据聚合、持过滤和分组等功能。

注意:将会InfluxDB开发太活跃了,很将会你在网上搜到的资料就有老的,会害到你,刚刚你不可否 以官方文档为主。

这其中,画图功能是最比较复杂也是最强大的,甚至支持下面哪几个图形,这是一些 TSDB 中少见的:

这麼在一种篇文章中,亲戚亲戚我们 将介绍一下目前就有哪几个 TSDB,以及它们个人 的特点,并基于另一方观点,给出一定的(喜好)评判。

得话总结:老牌经典、艺多不压身。

相应的,它的特点为:

这里六个多多多例外,若果 Pinot 何必 在一种排名里,若果我也把它列在了这里。

3M EVENTS / SECOND SUSTAINED (100B+ EVENTS/DAY)

InfluxDB 由 Golang 语言编写,也是由 Golang 编写的软件中比较著名的六个多多,在刚刚 Golang 的沙龙将会文章中将会就有把 InfluxDB 当标杆来介绍,这也间接帮助 InfluxDB 提高了知名度。

Pinot 也像 Druid 一样,能加载 offline 数据(Hadoop 文件)和实时数据(Kafka)。Pinot 从设计上就面向水平扩展。

Prometheus 是六个多多开源的服务监控系统和时序列数据库,由社交音乐平台 SoundCloud 在2012年开发,最近也变得很流行,最新版本为 0.17.0rc2。

【编者按】

刘斌,OneAPM后端研发工程师,拥有10多年编程经验,参与过大型金融、通信以及Android手机操作系的开发,熟悉Linux及后台开发技术。曾参与翻译过《第一本Docker书》、《GitHub入门与实践》、《Web应用安全权威指南》、《WEB+DB PRESS》、《Software Design》等书籍,也是Docker入门与实践课程主讲人。本文所阐述的「时间序列数据库」,系笔者所负责产品 Cloud Insight 对性能指标进行聚合、分组、过滤过程中的梳理和总结。

Google、Etsy、GitHub、豆瓣、Instagram、Evernote 和 Uber 等刚刚知名公司就有 Graphite 的用户。有此背景,其可信度又加一层,若果网上的资料也相当的多,值得评估一下。

Druid 企业用户比较多,比如 OneAPM、Netflix 和 Paypal 等。具体可否 参考 http://druid.io/druid-powered.html 。

将会另一方能力所限,一些地方调查将会不可否 位,再去掉 一定的另一方主观因素,跟另一方的结论将会不一样,不过这应该也正常。这麼调查过就这麼发言权,不可否 真正的深度用户的发言,才具有说服务力,你权当这里若果我抛砖了。

KairosDB 支持通过 Telnet、Rest、Graphite 等协议写入数据,你也可否 通过编写插件另一方实现数据写入。

大体来说,RRDtool 提供的主要工具如下:

尽管这麼,亲戚亲戚我们 还是会为亲戚亲戚我们 介绍更多一些的项目,让亲戚亲戚我们 能更多的了解一些不同的 TSDB 及其特点,并能帮助读者深入了解 TSDB 的各种场景,开阔思路。

100TB OF SEGMENTS (>100 TRILLION RAW EVENTS)

Pinot 就像是六个多多 Druid 的 copy,不过两者的灵感都来源于SenseiDB(Sensei 在日语里为老师的意思,写成汉字为“先生”)。

和一些监控系统相比,Prometheus 的特点包括:

Prometheus 从各种输入源下发 metric,进行计算后显示结果,将会根据指定条件出发报警。

得话总结:背靠大树好乘凉。

得话总结:貌似比较火,何不试一试?

1000 CORES (>100 NODES, >100TB RAM)

通过上一章《时序列数据库武斗大会之哪几个是TSDB》的介绍,相信亲戚亲戚我们 将会知道了哪几个是时序列数据库,以及对它能干哪几个,具有哪几个特点。

得话总结:好用,亲戚亲戚我们 在用。

Pinot 主要特点:

将会 Prometheus 采用了类式 OpenTSDB 和 InfluxDB 的 key/value 维度机制,刚刚将会你对任一种 TSDB 有了解得话,学习起来会简单些。

OpenTSDB 以数据存储和查询为主,附带了六个多多简单地图形界面(依赖Gnuplot),共开发、调试使用。

所有 TSDB 中,估计就数一种最酷了,跟我说的是域名,只六个多多多字母,猥琐地想一下,域名就值刚刚钱 :-)。

Graphite 由 Orbitz, LLC 的 Chris Davis 创立于 1006 年,它主要六个多多多功能: