大数据可视化系统项目 tableau数据可视化方案( 二 ) _云知道

AutoVis基本思想
针对上述大数据可视化面临的挑战，我们尝试从12个方面探索应对的方法，如下图所示。针对系统所需的采样能力，提出了一种新的流式时序数据高效采样方法；实现了一种数据特征提取框架，支持扩展不同的特征提取方法。针对系统绘制效率，我们一方面采用了数据压缩传输，将数据通信量降低到非压缩通信的三分之一，另一方面，结合图表LAZY更新策略，着力降低图表非必要更新。针对图表表达能力要求，提出了一种新的图表模板化与交互式编辑方法，目前提供267种图表模板，覆盖常用数据可视化方法。针对系统可扩展性要求，提出一种平衡易用性与表达能力的图表模板扩展方法；设计实现了图表扩展实时反馈技术。针对图表构建能力的要求，设计实现了图表参数自动化填充技术，实现图表的秒级构建与响应，分钟级构建一个看板。针对图表交互能力的要求，实现了常用的图表交互方法；提出一种新的多图表联动关系自动发现技术，自动化支持多图表钻取。

AutoVis在应对大数据可视化挑战中的探索
动态数据采样与可视化：针对大数据场景中数据更新频繁和数据规模较大的挑战，我们提出了一种动态分桶与层级采样相结合的流式数据采样框架，实现了百万点的毫秒级查询，满足高频数据的可视分析与监控需求。如下图所示，其中数据写入与图表刷新速度均达到了100次/秒。

高频时序数据可视化
多源数据聚合查询技术：针对数据检索与处理耗时长的挑战，我们设计实现了一种数据聚合查询技术，通过将常用数据查询与过滤操作映射成数据的SQL语句，将更多的数据过滤操作在数据库层完成。有助于显著提升数据处理速度，提高数据可视化的效率与交互性。

图表模板编辑与管理技术：针对已有可视化软件中图表模板有限，可扩展性弱，以及通过编码方式定义新的图表模板需要大量的人力资源和时间成本，复用性弱等挑战，我们设计了一种新的可扩展图表模板分类与管理技术以及交互式编辑工具。我们选择使用可视化编程语言Vega和Vega-Lite，并在其示例的基础上进行扩展，目前形成了267种图表模板。另外，提供了选项配置、参数扩展与自由配置三种自由度从低到高的图表目标交互式编辑方式，着力同时满足图表易用性、表达能力与可扩展性的需求。
图表参数自动填充技术：AutoVis提供了一种自动填充图表参数快速生成图表的技术。使用者在打开数据后，拖选图表模板，系统将根据数据信息及模板配置自动填充模板参数，实现可视化图表的一键生成。同时，AutoVis提供了即时响应的图表参数编辑技术，如果自动填充的结果不满足个性化需求，使用者可以很方便地修改图表参数，如下图所示。值得强调的是，AutoVis系统实现了参数推荐与自动补全，努力减少使用者修改参数所需的交互次数。

AutoVis快速生成图表
看板模板描述语言与编辑工具：看板是可视化设计工具生成的主要内容，为了在达到图表模板化、看板配置通用化目标的同时，满足跨平台和跨终端等常用需求，我们设计实现了一种面向可视化看板的描述语言，实现看板的轻量灵活定义。同时，AutoVis提供了一种所见即所得的看板编辑工具，使用者可以采用类Visio画图的交互方式，直观调整看板图表大小与布局。另外，AutoVis还支持面向不同终端的针对性看板设计，方便使用者设置适用于特定终端的可视化看板。