东方国信CirroData-TimeS时序数据库全新升级,V1.3.1版推出四大新功能

点赞 0
评论 0
收藏

全文约2415字,阅读约14分钟



近日,东方国信CirroData-TimeS时序数据库进行了全新升级,推出了V1.3.1版本新版时序数据库新增四项新功能,分别在安全控制数据同步系统监控序列视图方面带给用户全新体验!
此外CirroData-TimeS V1.3.1也对原有系统问题进行了修复,同时优化了多项功能操作,不断满足用户在新场景中的新需求。

新增功能










































安全控制:通过审计日志,方便管理员查询用户在数据库中的增删改查等各项操作,确保信息安全;

新增审计日志功能,可以实现如下场景需求:
  • 可以按链接来源决定是否记录审计日志,例如:非人为操作,像硬件采集器写入的数据不需要记入审计日志;人为操作,诸如普通用户通过cli等工具操作的数据,需要记入审计日志;
  • 过滤掉系统级别的写入操作,如CirroData-TimeS监控体系本身记录的写入操作等。


数据同步:满足用户搭建完整的数据链路来满足端边云同步、异地灾备、读写负载分库等需求;

数据同步功能可以将CirroData-TimeS的数据同步传输到另一个数据平台,我们将一个数据同步任务称为Pipe,一个Pipe包含三个子任务(插件):抽取(Source)处理(Process)发送(Sink)
Pipe允许用户自定义三个子任务的处理逻辑,通过类似UDF的方式处理数据。在一个 Pipe 中,上述的子任务分别由三种插件执行实现,数据会依次经过这三个插件进行处理:Pipe Source 用于抽取数据,Pipe Processor 用于处理数据,Pipe Sink 用于发送数据,最终数据将被发至外部系统。
Pipe 任务模型如下:

描述一个数据同步任务,本质就是描述 Pipe Source、Pipe Processor 和 Pipe Sink 插件的属性。用户可以通过 SQL 语句声明式地配置三个子任务的具体属性,通过组合不同的属性,实现灵活的数据 ETL 能力。


全新监控面板:新版CirroData-TimeS的监控面板包括了集群监控、数据写入、数据查询、存储引擎和系统监控等功能;

  • 集群监控:监控集群总CPU核数、总内存空间、总硬盘空间、集群包含ConfigNode与DataNode数、集群启动时长、写入速度、集群各节点当前CPU、内存、磁盘使用率、分节点信息等;

  • 数据写入:监控写入平均耗时、耗时中位数、99%分位耗时、WAL文件数量与大小、节点WAL flush SyncBuffer耗时 等;

  • 数据查询:监控节点查询加载时间序列元数据耗时、读取时间序列耗时、修改时间序列元数据耗时、加载Chunk元数据列表耗时、修改Chunk元数据耗时、按照Chunk元数据过滤耗时、构造Chunk Reader耗时的平均值 等;

  • 存储引擎:监控分类型的文件数量和大小、处于各阶段的TsFile数量和大小、各类任务的数量与耗时 等;

  • 系统监控:监控系统内存、交换内存、进程内存、磁盘空间、文件数、文件尺寸、JVM GC时间占比、分类型的GC次数、GC数据量、各年代的堆内存占用、网络传输速率、包发送速率 等。



序列视图:一种全新的基于时间序列的数据组织管理方式;
在传统关系型数据库中,数据都必须存放在一个表中,而在CirroData-Times等时序数据库中,序列才是存储单元。因此,CirroData-Times中序列视图的概念也是建立在序列上的。
一个序列视图就是一条虚拟的时间序列,每条虚拟的时间序列都像是一条软链接或快捷方式,映射到某个视图外部的序列或者某种计算逻辑。换言之,一个虚拟序列要么映射到某个确定的外部序列,要么由多个外部序列运算得来。
用户可以使用复杂的SQL查询创建视图,此时序列视图就像一条被存储的查询语句,当从视图中读取数据时,就把被存储的查询语句作为数据来源,放在FROM子句中。
序列视图通常在以下实际场景中应用:
  • 时间序列重命名(PI资产管理):实际应用中,采集数据的设备可能使用人类难以理解的标识号来命名,这给业务层带来了查询上的困难。而序列视图能够重新组织管理这些序列,在不改变原有序列内容、无需新建或拷贝序列的情况下,使用新的模型结构来访问他们;
  • 简化业务层查询逻辑:有时用户有大量设备,管理着大量时间序列。在进行某项业务时,用户希望仅处理其中的部分序列,此时就可以通过序列视图功能挑选出关注重点,方便反复查询、写入;
  • 辅助权限管理:生产过程中,不同业务负责的范围一般不同,出于安全考虑往往需要通过权限管理来限制业务员的访问范围。



改进与优化










































CirroData-TimeS V1.3.1新版优化了如下功能操作:
  • 优化权限模块,支持时间序列粒度的权限控制;
  • 客户端服务器支持 SSL 通讯加密;
  • 计算类型视图支持 LAST 查询;
  • 优化 Python 客户端的性能;
  • 优化查询执行过程;
  • 增加一键启停集群脚本(start-all/stop-all.sh & start-all/stop-all.bat);
  • 增加一键收集实例信息脚本(collect-info.sh & collect-info.bat);
  • 新增标准差、方差内置聚合函数;
  • 新增 TsFile 修复命令;
  • Load TsFile 完善内存控制,覆盖全流程;
  • Rest 接口(V2 版)增加列类型返回。


CirroData-TimeS V1.3.1新版修复了以下问题:
  • 修复在 target path 中,使用反引号导致 select into 报错的问题;
  • 修复网络分区环境下 show cluster 出现 NPE 的问题;
  • 修复 duration 含多 unit 时 group by month 异常问题;
  • 修复有 order by clause 时,limit 和 offset 不能下推的问题;
  • 修复 group by month + align by device + limit 组合场景下的异常;
  • 修复 IoT 协议同步时反序列化报错问题。



END

郑重声明:用户在社区发表的所有信息将由本网站记录保存,仅代表作者个人观点,与本网站立场无关,不对您构成任何投资建议,据此操作风险自担。请勿相信代客理财、免费荐股和炒股培训等宣传内容,远离非法证券活动。请勿添加发言用户的手机号码、公众号、微博、微信及QQ等信息,谨防上当受骗!
    --
    总收益 20日收益 日收益
    -- -- --
    最新操作
    - - -
    历史收益率走势(%)
    Chart
    代码 名称 最新价 涨跌幅
    查看更多
    浪客视频
    -
    郑重声明:东方财富网发布此信息的目的在于传播更多信息,与本站立场无关。东方财富网不保证该信息(包括但不限于文字、视频、音频、数据及图表)全部或者部分内容的准确性、真实性、完整性、有效性、及时性、原创性等。相关信息并未经过本网站证实,不对您构成任何投资建议,据此操作,风险自担。
    信息网络传播视听节目许可证:0908328号 经营证券期货业务许可证编号:913101046312860336 违法和不良信息举报:021-61278686 举报邮箱:jubao@eastmoney.com
    沪ICP证:沪B2-20070217 网站备案号:沪ICP备05006054号-11 沪公网安备 31010402000120号 版权所有:东方财富网 意见与建议:4000300059/952500