一种基于虚拟现实技术的渐进沉浸式视觉数据分析方法[发明专利]

(12)发明专利申请

(10)申请公布号 CN 111291107 A(43)申请公布日 2020.06.16

(21)申请号 202010046556.X(22)申请日 2020.01.16

(71)申请人 华南理工大学

地址 5100 广东省广州市天河区五山路

381号(72)发明人 化泽帅　陆璐　

(74)专利代理机构 广州市华学知识产权代理有

限公司 44245

代理人 陈宏升(51)Int.Cl.

G06F 16/26(2019.01)G06F 3/01(2006.01)

权利要求书1页 说明书6页 附图3页

CN 111291107 A()发明名称

一种基于虚拟现实技术的渐进沉浸式视觉数据分析方法(57)摘要

本发明公开了一种基于虚拟现实技术的渐进沉浸式视觉数据分析方法，包含以下步骤：当客户端通过WebSocket发送消息到服务器端，选择相关的数据库运行GSP渐进式序列模式挖掘算法，把挖掘到的数据信息通过WebSocket传送到Unity客户端，通过虚拟现实技术实现挖掘数据的可视化呈现；其中运行GSP渐进式序列模式挖掘算法期间，对数据进行相关的交互操作以及对算法进行转向操作，得到所需要的可视化数据。本发明根据虚拟现实技术的特点，渐进沉浸式视觉分析系统能实现数据的可视化分析以及交互，能够给予数据分析人员更好的数据分析环境和更棒的交互沉浸式体验，有利于数据分析人员进行快速的数据分析和挖掘。

CN 111291107 A

权　利　要　求　书

1/1页

1.一种基于虚拟现实技术的渐进沉浸式视觉数据分析方法，其特征在于，包括以下步骤：

S1、利用WebSocket进行客户端-服务器端之间消息的通信，利用发送的消息选择对应的数据库和操作；

S2、运行GSP渐进式序列模式挖掘算法，得到定制内容的数据，通过WebSocket将数据传送到客户端；

S3、使用HTC VIVE设备实现虚拟现实沉浸式环境，根据挖掘数据的属性构建坐标系；S4、使用Unity的prefab进行数据的实例化，数据呈现在坐标系中，使用Handler手柄进行数据的操作和交互。

2.根据权利要求1所述基于虚拟现实技术的渐进沉浸式视觉数据分析方法，其特征在于，步骤S1中，所述WebSocket，实现客户端和服务器端之间全双工通信：在创建socket后，能够通过onopen、onmessage、onclose和onerror四个事件对socket进行响应；通过协议好的地址进行open连接操作，能够通过send()方法向服务器发送数据，能够通过onmessage事件接收服务器返回的数据，数据传输完毕之后，WebSocket进行close事件关闭连接，如果出现连接、处理、接收、发送数据失败的时候触发onerror事件。

3.根据权利要求1所述基于虚拟现实技术的渐进沉浸式视觉数据分析方法，其特征在于，步骤S2中，所述GSP渐进式序列模式挖掘算法，能够将分析算法设计为在执行数据挖掘过程中产生有意义的部分结果，能够将部分渐进结果给予用户立即浏览部分内容的可视化结果，并同时执行剩余的数据挖掘分析。

4.根据权利要求1所述基于虚拟现实技术的渐进沉浸式视觉数据分析方法，其特征在于，步骤S2中，所述GSP渐进式序列模式挖掘算法，是在每一次扫描数据库时,利用上一次扫描时产生的大序列生成候选序列，并在扫描的同时计算它们的支持度，满足支持度的候选序列作为下次扫描的大序列。

5.根据权利要求1所述基于虚拟现实技术的渐进沉浸式视觉数据分析方法，其特征在于，步骤S3中，所述挖掘数据的属性包括基于模式数据的大小、支持度和数量。

6.根据权利要求1所述基于虚拟现实技术的渐进沉浸式视觉数据分析方法，其特征在于，步骤S4中，所述使用Unity的prefab进行数据的可视化，具体为：首先创建object和prefab，然后将挖掘数据导入到Unity并且进行prefab的实例化，能够将数据可视化，经过世界坐标和Camera坐标的转换以及规模转换，然后通过VR设备，将数据显示在VR环境的坐标系中进行交互。

2

CN 111291107 A

说　明　书

1/6页

一种基于虚拟现实技术的渐进沉浸式视觉数据分析方法

技术领域

[0001]本发明涉及可视化数据挖掘分析领域，特别涉及一种基于虚拟现实技术的渐进沉浸式视觉数据分析方法。

背景技术

[0002]近年来，随着计算机连续处理数据的能力的提高，许多海量数据的处理时间大大减少，但是当处理许多经典数据分析系统时，由于需要的海量数据量以及所涉及算法的复杂性仍然会给数据分析人员带来延迟。基于增量可视化，有许多新兴的渐进式视觉分析系统，它们的目的是通过利用渐进式分析算法的执行提供的部分中间结果来减轻等待时间。渐进式视觉分析的基本思想是可以将分析算法设计为在执行过程中产生有意义的部分结果，然后可以将渐进结果与交互式可视化相结合，允许用户立即浏览部分结果，在计算出新结果后立即检查它们，并执行新的探索性分析，而无需等待先前的分析完成，建议避免强制性的等待时间。这种方法与传统的预计算和加速方法形成了鲜明的对比，传统的预计算和加速方法都假定必须先完成分析，然后才能将结果用于视觉交互。渐进式分析系统允许用户与数据挖掘算法进行交互，方法是通过在发现算法结果后立即呈现算法结果，或者提供将其引导到所需数据或结果上的可能性。总而言之，渐进式可视化分析有望通过消除用户执行交互和计算分析之间的时间间隔来加快用户的分析速度。[0003]沉浸式分析也是一个新兴的研究领域，其目的是探索“新兴的用户界面技术的适用性和发展，以创造更多引人入胜的身临其境的体验以及无缝工作流以进行数据分析应用”，即研究增强现实的使用(AR)和虚拟现实(VR)设备，以身临其境的方式可视化和分析数据。我们还可以定义使用引人注目的物化分析工具来支持数据理解和决策。其目标是消除人员，数据及其用于分析的工具之间的障碍。同时，它旨在支持各地和每个人的数据理解和决策，无论是单独工作还是协同工作，沉浸式分析系统通常建立在现有的虚拟/增强现实环境之上。在渐进式沉浸式视觉分析领域，虚拟/增强现实环境通过多个输入设备控制计算并跟踪多种人类分析行为，从而提供了丰富的多模式交互机会。[0004]GSP算法是一种序列模式挖掘算法，序列模式挖掘就是从一个数据序列(Data Sequence)集合S中找出所有满足用户指定最小支持度的序列。每个这样的序列称为一个频繁序列，或者序列模式。GSP算法核心思想是：在每一次扫描(pass)数据库时,利用上一次扫描时产生的大序列生成候选序列,并在扫描的同时计算它们的支持度(support),满足支持度的候选序列作为下次扫描的大序列。第1次扫描时,长度为1的频繁序列模式作为初始的种子集序列。另外GSP算法利用Hash树来存储候选序列，减小了需要扫描的序列数量，同时对数据序列的表示方法进行转换，这样就可以有效地发现一个侯选项是否是数据序列的子序列。

发明内容

[0005]本发明的主要目的在于克服现有技术的缺点与不足，提供一种基于虚拟现实技术

3

CN 111291107 A

说　明　书

2/6页

的渐进沉浸式视觉数据分析方法，该方法根据虚拟现实技术的特点，渐进沉浸式视觉分析系统能实现数据的可视化分析以及交互，与传统的渐进式视觉分析系统相比，沉浸式交互环境给予数据分析人员更好的数据分析环境和更棒的交互沉浸式体验，有利于数据分析人员进行快速的数据分析和挖掘。

[0006]本发明的目的通过以下的技术方案实现：

[0007]一种基于虚拟现实技术的渐进沉浸式视觉数据分析方法，包括以下步骤：[0008]S1、利用WebSocket进行客户端-服务器端之间消息的通信，利用发送的消息选择对应的数据库和操作；[0009]S2、运行GSP渐进式序列模式挖掘算法，得到定制内容的数据，通过WebSocket将数据传送到客户端；[0010]S3、使用HTC VIVE设备实现虚拟现实沉浸式环境，根据挖掘数据的属性构建坐标系；

[0011]S4、使用Unity的prefab进行数据的实例化，数据呈现在坐标系中，使用Handler手柄进行数据的操作和交互；[0012]步骤S1中，所述WebSocket，实现客户端和服务器端之间全双工通信：在创建socket后，能够通过onopen、onmessage、onclose和onerror四个事件对socket进行响应；通过协议好的地址进行open连接操作，能够通过send()方法向服务器发送数据，能够通过onmessage事件接收服务器返回的数据，数据传输完毕之后，WebSocket进行close事件关闭连接，如果出现连接、处理、接收、发送数据失败的时候触发onerror事件。[0013]步骤S2中，所述GSP渐进式序列模式挖掘算法，能够将分析算法设计为在执行数据挖掘过程中产生有意义的部分结果，能够将部分渐进结果给予用户立即浏览部分内容的可视化结果，并同时执行剩余的数据挖掘分析。[0014]步骤S2中，所述GSP渐进式序列模式挖掘算法，是在每一次扫描数据库时,利用上一次扫描时产生的大序列生成候选序列，并在扫描的同时计算它们的支持度(support)，满足支持度的候选序列作为下次扫描的大序列。[0015]步骤S3中，所述挖掘数据的属性包括基于模式数据的大小(size)、支持度(support)和数量(number)。[0016]步骤S4中，所述使用Unity的prefab进行数据的可视化，具体为：首先创建object和prefab，然后将挖掘数据导入到Unity并且进行prefab的实例化，能够将数据可视化，经过世界坐标和Camera坐标的转换以及规模转换，然后通过VR设备，将数据显示在VR环境的坐标系中进行交互。

[0017]本发明与现有技术相比，具有如下优点和有益效果：[0018]1、本发明从渐进式算法和基于虚拟现实技术的沉浸式交互两个方面对挖掘数据的可视化分析提出了有效的解决方案。[0019]2、本发明提供沉浸式交互环境相比于传统交互方式给予数据分析人员更好的数据分析环境和更棒的交互体验，有利于数据分析人员进行快速的数据分析和挖掘。[0020]3、本发明使用Unity工具非常适合跨平台开发，并且提供大量的插件便于开发，其中使用的VRTK是高效的交互插件，可帮助在Unity中快速轻松地构建VR解决方案，其目的是通过加快从原型构思到构建完整解决方案的创建过程，帮助用户提高生产率。

4

CN 111291107 A

说　明　书

3/6页

附图说明

[0021]图1为渐进式视觉分析算法和传统非渐进式视觉分析算法的对比图。[0022]图2为GSP序列模式挖掘算法的一个实例以及GSP算法的实现伪代码图。

[0023]图3为本发明所述种基于虚拟现实技术的渐进沉浸式视觉数据分析系统和传统的渐进式视觉分析系统的对比流程图。

[0024]图4为基于虚拟现实技术的渐进沉浸式视觉数据分析系统和传统的渐进式视觉分析系统进行交互数据显示方式的对比图。

[0025]图5为本发明所述一种基于虚拟现实技术的渐进沉浸式视觉数据分析方法的流程图。

具体实施方式

[0026]下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

[0027]如图5所示，一种基于虚拟现实技术的渐进沉浸式视觉数据分析方法，包含以下步骤：当客户端通过WebSocket发送消息到服务器端，选择相关的数据库运行GSP渐进式序列模式挖掘算法，把挖掘到的数据信息通过WebSocket传送到Unity客户端，通过虚拟现实技术实现挖掘数据的可视化呈现。其中运行GSP渐进式序列模式挖掘算法期间，我们可以对数据进行相关的交互操作以及对算法进行转向操作，得到我们所需要的可视化数据。[0028]如图1所示，渐进式视觉分析算法和传统非渐进式视觉分析算法的对比：[0029]首先，数据分析人员选择需要分析的数据库，选择数据属性的参数进行挖掘，对于渐进式视觉分析算法的系统，它们的目的是通过利用渐进式分析算法的执行提供的部分中间结果来减轻等待时间，系统是可以将分析算法设计为在执行过程中产生有意义的部分结果，然后可以将渐进结果与交互式可视化相结合，允许数据分析人员立即浏览部分结果，在计算出新结果后立即检查它们，并执行新的探索性分析，而无需等待先前的分析完成，建议避免强制性的等待时间。这种方法与传统的预计算和加速方法形成了鲜明的对比，传统的预计算和加速方法都假定必须先完成分析，然后才能得到结果。[0030]如图2所示，在步骤S2中关于GSP序列模式挖掘算法实例以及伪代码细化步骤如下：

[0031]2.1)一个序列是指将与对象有关的所有事件按时间戳增序排列，就得到对象的一个序列s。序列数据库包含一个或多个序列数据的数据集，如图2中的S1和S2所示。序列的支持度是指序列s的支持度指包含s的所有数据序列(与单个数据对象(图2中的A/B/C)相关联的事件的有序列表)所占的比例，若序列s的支持度大于或等于minsup，则称s是一个序列模式(频繁序列)。序列模式挖掘是指给定序列数据集Dataset和用户指定的最小支持度minsup，找出支持度大于或等于minsup的所有序列。[0032]2.2)GSP序列模式挖掘算法的思想就是：1、长度为1的序列模式C1，作为初始的种子集候选k-频繁序列模式；2、根据长度为k的种子集Ck，通过连接操作和剪切操作生成长度为k+1的候选序列模式Ck+1，然后扫描数据库，计算每个候选序列模式的支持度，产生长度为k+1的序列模式Fk+1并作为新的种子集。3、重复第二步，直到没有新的序列模式或新的候选序列模式产生为止。

5

CN 111291107 A[0033]

说　明　书

4/6页

其中，Ck表示候选k-频繁序列模式，Fk表示k-频繁序列模式，UkFk表示所有k-频繁

序列模式的并集。

[0034]如图3所示为本发明所述种基于虚拟现实技术的渐进沉浸式视觉数据分析系统和传统的渐进式视觉分析系统的对比流程图。首先前面的几个步骤是相同的，客户端发送利用WebSocket技术，实现客户端和服务器端之间全双工通信。通过WebSocket的消息事件选择要进行挖掘分析的数据库，之后会运行GSP序列模式挖掘算法得到我们想要的模式数据，在挖掘分析过程中，用户分析人员可以进行算法的转向以及改变挖掘模式数据的属性要求以得到不同的数据结果。表1为WebSocket中四个消息事件的具体解释。[0035]表1

[0036]

在后面的步骤中，传统的渐进式视觉分析系统是将挖掘得到的模式数据呈现在传

统的网页上，数据分析人员使用鼠标进行交互的操作。我们提出的基于虚拟现实技术的渐进沉浸式视觉数据分析系统是将通过WebSocket传送过来的模式数据进行可视化，通过HMD和VR设备构建虚拟现实的环境，将数据可视化在我们定义的世界坐标系中,细化步骤如下：[0038]3.1)为了使数据可视化，我们需要点来表示数据。有很多方法可以做到这一点，但是更直接的方法之一是在Unity的内置3D assets上使用Sphere，并将其转换为所谓的“prefab”，它本质上是一个模板对象，它可以被克隆和复制。根据需要进行修改。[0039]3.2)创建prefab，我们需要将Unity中自定义的Sphere转换为prefab，以便我们可以根据需要为可视化创建其副本。通过在“Project”窗口中“Assets”下右键单击并在打开的菜单中选择“Creat”窗口中的“prefab”，来创建prefab对象。[0040]3.3)将挖掘数据通过WebSocket传递过来，然后进行实例化prefab，我们需要将我们制作的预制prefab与脚本关联起来，然后指导脚本实例化(进行克隆)。首先我们需要让脚本知道将要放置的预制件，为此，我们需要在脚本内声明一个公共GameObject变量，将我

6

[0037]

CN 111291107 A

说　明　书

5/6页

们创建的prefab预制件从“Project”窗口拖到该字段。

[0041]3.4)然后使用Instantiate方法进行实例化和位置坐标的转换，不断实例化传递过来的挖掘模式数据，通过ToSingle方法读取模式数据的属性值，并且将属性值赋予坐标值，然后经过Transform方法将世界坐标系转换为我们构建的坐标系值，最终得到可视化的坐标数据。

[0042]如图4所示，通过Handler手柄进行交互任务，例如改变挖掘模式数据的属性大小，对挖掘算法进行转向操作以及查看分析已挖掘得到的可视化数据等。其中主要使用到VRTK去实现，细化步骤如下：

[0043]4.1)导入SteamVR和VRTK包。新建一个场景，删掉自带的Camera，新建一个Plane。新建一个空物体，重命名为VRTK_SDK Manager，添加组件VRTK_SDK Manager。创建空物体为VRTK_SDK Manager的子物体，重命名为VRTK_SDK Setup，添加组件VRTK_SDK Setup。[0044]4.2)添加预制体Camera_Rig作为VRTK_SDK Setup的子物体。选中VRTK_SDK Manager，选中Setups中点击“+”，将VRTK_SDK Setup拖动到“None(VRTK_SDK Setup)”的位置。新建空物体，重命名为VRTK_Scripts。在VRTK_Scripts下创建两个空物体，分别重命名为LeftController(用来配置左手柄)、RightController(右手柄)。[0045]4.3)选中LeftController和RightController，分别设置左指针和右指针。然后再手柄上添加VRTK的自带的部分脚本，可以控制Handler手柄和物体的交互，当我们需要自定义功能的时候，我们就要开始自己写脚本或者继承已有的VRTK自带脚本进行功能扩展，使用到的部分脚本功能如表2所示。[0046]表2

[0047]

7

CN 111291107 A[0048]

说　明　书

6/6页

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的

，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

8

CN 111291107 A

说　明　书　附　图

1/3页

图1

图2

9

CN 111291107 A

说　明　书　附　图

2/3页

图3

图4

10

CN 111291107 A

说　明　书　附　图

3/3页

图5

11