设为首页 | 加入收藏 | ENGLISH
首页关于我们科研机构科研团队科研平台研究项目人才培养技术转化招聘公告
当前位置: 首页>>科研平台>>正文

R³技术研究所:虚拟实验室和工厂

时间:[2017-12-20]  来源:

一、背景

进入二十一世纪以来,经济全球化的进程日趋完善,制造行业面临着前所未有的激烈竞争。这种背景下,产品必须以最好的质量、最快的速度、最低的成本、最优秀的服务和最清洁的环境来满足客户对产品的需求,全球化、网络化、虚拟化、敏捷化、绿色化是未来制造业发展的趋势,更是对设计行业的严峻挑战。

虚拟制造是先进制造技术的重要组成部分,是用信息化改造传统制造业的重要手段之一。虚拟制造是实际制造过程在计算机上的本质实现,即采用计算机仿真与虚拟现实技术,在计算机上实现产品开发、制造以及管理和控制的本质过程,以增强各级的决策与控制能力。虚拟制造使得制造商可以将供应商、合作伙伴和客户等都带入制造过程,通过他们之间的协同,在计算机上实现制造过程。

           

二、目标

为了满足智能制造工程研究院发展需要,本平台集成和整合涉及知觉管理系统和虚拟场景呈现系统的软硬件技术,大力促进动态环境建模技术、立体显示和传感器技术、系统开发工具应用技术、实时三维图形生成技术、系统集成技术等多项核心技术的标准制定,注重建设面向VR和AR内容制作和应用服务,并着力扩展现实(ER)新概念技术的研发与应用。并与其它研究所密切合作,聚集一大批中小企业在工程仿真、工业互联网、医疗、商业、家居、社交、游戏等应用领域拓展定制化的产品和服务,实现VR和AR产业发展的新格局。

三、总体框架

为了满足智能制造工程研究院发展需要,本平台集成和整合涉及知觉管理系统和虚拟场景呈现系统的软硬件技术,大力促进动态环境建模技术、立体显示和传感器技术、系统开发工具应用技术、实时三维图形生成技术、系统集成技术等多项核心技术的标准制定,注重建设面向VR和AR内容制作和应用服务,并着力扩展现实(ER)新概念技术的研发与应用。并与其它研究所密切合作,聚集一大批中小企业在工程仿真、工业互联网、医疗、商业、家居、社交、游戏等应用领域拓展定制化的产品和服务,实现VR和AR产业发展的新格局。

   (1)平台架构

集成和整合涉及知觉管理系统和虚拟场景呈现系统的软硬件技术,大力促进动态环境建模技术、立体显示和传感器技术、系统开发工具应用技术、实时三维图形生成技术、系统集成技术等多项核心技术的标准制定,注重建设面向VR和AR内容制作和应用服务平台,并着力扩展现实(ER)新概念技术和平台的研发与应用。并与其它研究所密切合作,聚集一大批中小企业在工程仿真、工业互联网、医疗、商业、家居、社交、游戏等应用领域拓展定制化的产品和服务,实现VR和AR产业发展的新格局。

图1 平台架构图

本平台的整体建设思路是:基于硬件资源、通信资源、软件资源、计算资源,开展专项技术研究,服务于平台上的用户。本平台设计主要包括物理层、资源层、云服务层以及云应用层。物理层主要包括3D扫描仪等输入设备、3D显示系统等显示设备、传感器等交互设备以及服务器、机房等高性能计算平台;资源层主要是提供计算、存储以及网络等资源;云服务层将资源进行集中管理,所提供的云资源服务主要包括虚拟生产平台以及虚拟设计平台等;云应用层作为对外的用户接口层为用户提供虚拟设计、虚拟加工、虚拟装配等服务。


图2 平台流程图

   (2)平台体系结构

虚拟制造是一个极其复杂的系统。对一个合理的虚拟制造系统体系结构而言,一方面为虚拟产品制造全过程提供集成的环境之外,还应该体现虚拟制造环境中以人为本的思想,实现人、机、组织、管理、应用技术的并行协同工作,即虚拟制造的过程管理;另一方面,还应具备开放性的结构和支持网络协同工作等功能,满足产品数据、过程、应用和组织的集成,这样才能更好地实现虚拟制造的功能和要求。

本平台的体系结构分为五层,即界面层、管理层、功能层、数据层、支撑层。

图3 平台体系结构图

界面层是用户和系统的交互接口,其接口操作的形式是多样的,包括各种数据采集、CAD图形设计、用户与虚拟环境的交互操作以及视频与语音操作等。

管理层是从管理层面上来控制和管理分布协同的虚拟制造过程,以项目为纽带,对虚拟制造过程进行建模、规划、管理和监控,支持制造过程的串并行工作,保证项目的进度、资源、人员的合理配置与调度。

功能层本身是一个应用工具集,从理论上而言,它应该融合虚拟制造不同应用领域的各种关键的单元技术。从产品制造的步骤看,可分为虚拟产品设计、虚拟产品制造、虚拟产品装配以及其他应用工具集等大模块。这些模块从产品的设计性能、可加工性、可装配性、过程的协同等方面进行评价和优化。

数据层是记录产品数据和过程数据的载体,它包括产品数据库、模型库、对象库、知识库、方法库和构件库等。

支撑层包括操作系统和网络,它提供各种应用软件的运行平台和协作企业范围内信息的透明共享与管理。

四、服务对象

主要服务对象为团队用户、企业用户、个人用户。其中团队用户主要为智能制造工程研究院及广州大学其他学院的科研团队;企业用户主要为在平台开展创业孵化的企业;个人用户主要为广州大学内部科研人员。

五、资源

   (1)硬件资源

表1 虚拟实验室研究平台硬件资源列表

序号 名称 功能 数量(套) 备注
1 4K全景VR相机 应用:捕捉360°球形视频和360*360全方位环绕音频。 ;影音捕捉:搭配空间音频阵列的球形立体视频捕捉 ;视频传感器类型:逐行扫描,全局快门;视频传感器阵列:8个同步传感器,分辨率达2K*2K;视频录制范围:全球形,360*180度;视频动态范围:60dB/10次;最小成像距离:0.5米/20英寸(球形视频范围);立体影像捕捉范围:中线+/-130(横),+/-65(纵)度;音频录制范围:全球形,360*360度;音频动态范围:60dB S/N,最大120dB SPL;镜头间距:有效间距最高可达86毫米/3.4英寸;镜头视角:每个镜头可达195度;相对光圈:f/2.4;基础感光度:ISO 400 1 随机配件
2 航拍无人机 GPS悬停精度 垂直:±0.5 m(下视视觉系统启用:±0.1 m);水平:±1.5 m(下视视觉系统启用:±0.3 m);最大旋转角速度 俯仰轴:300° /s;航向轴:150° /s;最大俯仰角度 P模式:35°(前视视觉系统启用:25°); A 模式:35°;S 模式:40°;最大上升速度 P模式/A 模式:5 m/s;S 模式:6 m/s;最大下降速度 垂直:4 m/s;斜下降:4 - 9 m/s;最大水平飞行速度 94 km/h 或 26 m/s (Sport 模式下) 1 随机配件
3 动作捕捉系统 红外光学追踪,无无电、磁和声⾳音⼲干扰;⽆无线追踪,⽆无数据线和电源线的牵绊;内置近红外LED闪光灯,波⻓长为850 nm,强度可供调整;最⼤大帧速:120;分辨率: 1280*1024
配套软硬件
4 背光抠图系统 全包围区域:采用绿色 R638 透光板产生绿光漫射,颜色均匀;无明显阴影,无可见直射或折射光线;全区域背景可在抠图软件中被处理。 1 配套软硬件
5 图形工作站 双颗|金牌5118 24核心 2.3Ghz 128G/4T+512G/P6000 24G独显 2 采购中
6 体感座椅 伺服电机系统:六自由度伺服电机系统 1 采购中
7 辅助设备 3D打印机,VR手套,追踪仪等 1 随机配件

   (2)软件资源

目前本平台的软件资源主要包括Unity3d软件、Humanoid VR Plus软件、Charactor Creator3软件、Dissonance Voice Chat软件、Final IK软件、Dotween Pro软件以及Zbrush等。

   (3)通信资源

主要基于有线网络和无线局域网进行通信,主要依托场地共享网络资源。

   (4)人员

本平台人员既负责专业技术又承担平台管理职能。

表2 虚拟实验室平台人员及分配

序号 岗位名称 主要工作职责 人数
1 多通道交互 信息与时间的同步;人像分离与多传感器信息的融合;大面积纹理的可见性快速显示;三维定位跟踪设备的定标;真实感渲染的三维图形加速;虚拟现实设备的软硬件接口驱动等 5
2 虚拟环境建模 图像图形混合建模;多细节层次建模;智能化视区裁剪;场景预处理;图像绘制;声的生成与增强等 4
3 产品建模 零部件物理建模;基于物理的工程行为特征建模;工程对象的单元化划分;工程分析的有限元计算等 4
4 数据转换与处理 数据文件格式转换;产品数据管理等 2
5 知识获取与建库 网络化异构知识与数据信息的统一表达;分布式虚拟仿真节点的协同与自治;虚拟场景的快速漫游、绘制与网络传输;基于VR的产品设计与制造集成;网络环境下虚拟制造产品数据与指令的传输与共享 4
6 可视化 分布式的计算与可视化环境的协同;特征可视化与拓扑结构分析等等 4
合计

23

   (5)场地

虚拟实验室平台的主要产地为广州大学城北城投楼,主要分为实验室、办公室、储藏室、拍摄厅以及展示厅等,面积分配如表3。

表3 虚拟实验室场地分配

序号 名称 面积 备注
1 实验室 约150 平米 平台开发场地
2 办公室 2间约 120 平米 办公场地
3 储藏室 1间约 50平米 收纳场地
4 拍摄厅 约130平米 拍摄场地
5 展示厅 约210平米 产品展示

六、重点研究领域

   (1)人机交互与传感

虚拟现实是一种全新的人机交互技术,它利用计算机生成一种虚拟环境,通过各种传感设备使操作者“沉浸”到该环境中,实现操作者和该环境直接进行自然交互。这里所谓的虚拟环境就是用计算机生成的三维立体图形,它可以是现实世界中某一特定真实环境的再现,也可以是纯粹虚构的环境。传感设备包括穿戴于操作者身上的立体头盔显示器、数据手套、数据衣等交互装置以及设置在现实环境中用于感知的各种传感装置。

   (2)网络与系统集成

网络与系统集成的主要研究内容是将VR内容在网络化的平台上共享,不同地理位置的人可共同进入一个虚拟空间。

在计算机设备、 软件及数据资源的集成设计中,相互的性能连接及对集成系统的操作性是一个被广泛关注的问题,要使多个平台、多协议和多数据管理应用在网络集成系统中,就必须发挥计算机的核心技术和关键方法,只有充分发挥计算机的优点才能对计算机网络集中有效的管理和维护。

   (3)视听传输与呈现

实时3D视频采集,实时捕捉真实场景画面,并实时提取深度,进行视频编解码并传输。基于人眼视觉特性,由于双眼的位置存在差别,导致对同一场景所看到的图像存在差别,这就是视差原理。系统实现采用双摄像机采集,利用极线几何关系进行图像的校正;深度估计采用预处理、图像匹配、亚像素拟合等方法实现。3D视频编解码主要由当下主流的编解码协议实现(如H.264/H.265等)。

语音交互作为VR领域的一个交互入口,更是强调要满足各种不同日常场景的交互要求。采用世界领先的SSP技术,基于双麦克风阵列的远场语音识别,可以有效抑制用户语音之外的噪声和混响效应,做到在95%以上的场景中可以有效地进行远场拾音,配合远场语音识别引擎,保证在5米距离内达到精准的识别效果。

采用全球独有的32khz超宽频音质,是普通电话音质的4倍,可以实现VR体验中的“听声辩位”,堪比3D音效。更重要的是,实时语音还可以完美的与游戏背景音乐融合,大大增加用户的临场感。针对无法实现基本的听音辨位问题,可以采用多声道音效系统解决方案。通过集成语音通话SDK,可获得拥有实时高清音质、32khz超带频的语音编解码器NOVA,实现VR画面中声音的立体化环绕,让用户感受到来自四面八方环绕的声音,同时通过智能化回声消除和降噪功能,让用户可以通过声音精准定位空间位置,实现良好的画面沉浸感受。

七、总结

在研究院的整体规划下,虚拟实验室平台建设主要集中于虚拟制造相关功能模块开发,以通用化、模块化、系列化推进相关技术成熟。在平台的管理上,突出主要业务,整合周边资源,统筹产学研政资源,打通技术上下游,推动人工智能技术与传统制造技术的融合。

上一条:智能制造系统