利用Visible Human Project（VHP）数据集建造虚拟人体-利用Visible Human Project（VHP）数据集建造虚拟人体--免费论文网

> Software environment used in development is Advanced Visual Systems（AVS）. 摘要：本课题利用VHP数据集完成虚拟人体建造的初步开发。包括三维虚拟人体全身表面体积重构,矢状面重构和冠状面重构的图谱集建立以及体表重构的动画制作。本课题应用的软件开发环境为高级可视化系统（AVS）。关键词：图像处理 3D重构虚拟人体 VHP数据集前言现代医学十分重视可视化信息。现代医学的实验起源于解剖学。近年来已开始出版基于照片的解剖图譜。100年前德国人伦琴发现X射线，由此开创了医学放射学的先河。七十年代英国人汉斯菲尔德发明计算机层面照相术（CT），使得X线可以观察到人体的软组织，引起放射学的一场革命。不久前，磁共振成像术（MRI）、正电子发射层面照相术（PET）相继问世,从而计算机图像处理技术与医学进一步紧密结合，使得医学步入崭新的可视化时代。当我们跨入廿一世纪以后，医学可视化将取得更加辉煌的发展。一、医学可视化的跨世纪开发项目----可视化人体 1989年美国国立医学图书馆（NLM）建立了采集人体横断面CT、MRI和组织学数据的项目，其目的是为利用计算机图像重构技术建造虚拟人体作准备，项目名称为Visible Human Project（VHP），即可视化人体。该项目由科罗拉多大学承担实施，并成立了尸体选择委员会。分别于1991年和1994年选择了男女各一个活体。男的身高1.82米，女的身高1.54米。在他们死后，立即用CT和MRI作了轴向扫描，男的间距1毫米，女的间距0.3毫米。然后将尸体填充蓝色乳胶并裹以明胶后冰冻至摄氏零下80度。再以同样的间距对尸体作组织切片的数码相机摄影。所得数据共56GB（男13Gb，女43GB）。这些数据称为Visible Human数据集。 Visible Human项目的立项、实施和开发具有划时代的意义。它标志着现代医学的发展离不开计算机高科技。这样的数据集在医学史上是首创。它改变了医学可视化的模式。VHP数据集的出现为计算机图像处理和虚拟现实进入医学敞开了大门。它使走向成熟的三维重构图像处理技术以空前的速度普及。利用这个数据集可以创立虚拟解剖学、横断面解剖学、纵剖面解剖学、斜剖面解剖学。所以，Visible Human项目是信息技术和医学结合的创新工程的杰出范例。由于图像重构要耗费大量计算机资源，许多复杂的图像处理研究要在巨型机或图形工作站上进行。近年来高档PC发展迅速，Pentium-III 500以上的高速机型正在推向市场，内存可以达到1GB以上。因此，利用PC处理虚拟人体三维重构和动画制作的可能性越来越大。二、VHP数据集国际开发成果 Visible Human数据集已经成为可以购买的产品，也可以通过订立合同从Internet下载。除了美国国立医学图书馆以外，还在意大利、日本和新加坡建立镜相站点。这样，VHP数据集就成为全世界医学界的共同财富。哈佛大学、斯坦福大学、罗耶尔大学、科罗拉多大学、华盛顿大学、德国汉堡大学、日本、澳大利亚、新加坡等都在利用Visible Human数据集进行开发。图1是华盛顿大学利用VHP数据集完成的腿部重构的例子。首都医科大学已开始和美国国立医学图书馆进行这方面的合作。作为Visible Human开发经验的学术交流，已经召开了两次国际会议。德国汉堡大学利用体素技术开发了Voxel Man项目。它利用Visible Human数据集和自身获得的数据开发了可以对人体作任意三维重构的系统。这个项目的开发坚持从计算机图像处理方法学高起点研究作为基础。逐渐形成教学层和商品化产品层的多维开发结构。利用三维重构技术，人类第一次可以利用数字化数据集创作出虚拟人体标本。它的保存不受时间和空间的限制。他们利用Visible Human数据集制作的三维体表重构。它等于是剥离了皮肤的人体，肌肉纹理重构十分清晰。图2是Voxel Man项目中重构的头部例子。　　　　　　　　　　三、本课题对VHP数据集的初步开发和工作环境本课题的目的是进行VHP数据集的实验性开发。基础数据来自VHP数据集的压缩光盘（Visible Human CD）。该光盘还包括一个高级VHP数据图形浏览器。图3和图4是VHP数据集中组织学切片和MRI扫描的例子。本课题所用的软件环境是高级可视化软件系统AVS（Advanced Visual Systems）。它的功能十分强大，既是一个多维可视化环境，也是开发平台。我们将在本文的第４段进行详细的介绍。本课题所用的硬件环境是PII450、内存256MB的PC机。图3 图4 四、高级可视化开发环境（AVS）高级可视化软件系统AVS（Advanced Visual Systems）是面向对象的、可视的开发工具，能够建立可重复使用的对象，应用程序组件和复杂的数据可视化应用程序。 AVS支持多种操作系统，包括各种UNIX平台和Windows98/NT。其PC硬件要求64MB以上内存。AVS是开放式开发环境，既可以利用AVS本身提供的功能进行开发，也可以由使用者按照自己的需要进行扩充。 1．AVS的主界面，如图5所示图5 AVS有三种使用方法，分别是网络编辑器（Network Editor）的流程图方式、VCP和V脚本语言以及API编程。在本课题中，我们使用网络编辑器的流程图方式。它使我们能利用AVS提供的现成模块，以类似“搭积木”的方式进行应用程序开发。如图5所示为网络编辑器（Network Editor）的主界面，它包括菜单、模板库和用户编程库。模板库主要包括数百个预制的模块，这些模块可在NE中非常方便的使用。AVS将这些模块按功能组织成软件包（Kits），在AVS/Express中共有以下几个软件包：图形显示软件包（GDK）,数据可视化软件包（DVK）, 标注和二维图形软件包（AGK）, 数据库软件包（DBK）, 用户界面接口软件包（UIK）等等。为了便于使用，NE将这些模块组织成模板库页。模板库页中包含了所有模块。主（Main）库页中包含了我们最经常可能使用的模块，其次是附件（Accessory）库页，等等。主（Main）库页中包含数据输入／输出（Data IO），过滤器（Filters），映射器（Mappers）,几何体（Geometries）,域映射器（Field Mappers）,显示器（Viewers）等子库。网络编辑器是AVS/Express软件和用户之间的主要接口。它是可视的开发环境，通过鼠标驱动操作来连接、定义、装配和管理对象。AVS/Express的可视化应用程序提供了数百个预定义的应用程序组件来处理、显示和管理数据。我们在网络编辑器中连接、装配对象和应用程序组件控制数据，并对它们进行处理和显示。也可以对这些对象进行编译和打包，甚至添加一个用户接口以创建一个完整的应用程序，这个应用程序可以作为一个独立存在的应用程序被分发。 2．可视化程序设计 AVS将其强大的功能构筑成流程图逻辑。在AVS/Express软件的可视化快速编程环境的网络编辑器中，我们可以用交互方式、非常容易地快速生成自己的可视化应用程序。AVS以流程图方式显示使用者的应用程序结构，可以在其中图形式地连接对象，调用模块，从而组建一个可视化网络。网络可以做为一个应用程序或对象被保存、重复使用或修改，从而大大提高了开发应用程序的工作效率。我们在网络编辑器的开发环境中，可以利用鼠标拖动和投放灵活地建造流程图，如图6所示。五、利用VHP数据集和AVS可视化软件建造虚拟人体 1．AVS数据文件的生成本课题的困难之处在于，VHP数据集十分庞大。所采用的男性数据为13GB。如果要构造全身，就要对全部数据进行处理。要求很大的内存容量以及庞大的硬盘，也需要比较长的CPU处理时间。在美国这种工作往往是在巨型机（Cray-1）上进行的。AVS/Express软件的出现，使我们对计算机的要求大大降低。我们现在甚至可以在普通的pc机上完成这项工作。 AVS的数据可视化软件包中几乎所有模块都对AVS的域数据结构进行处理，所以使用AVS/Express重构虚拟人体的第一步就是将我们的数据转换成AVS域数据结构。由于条件和时间的限制，我们使用的数据量较小。数据为组织学切片图片（JPG格式）文件，共1878张组织学截面，其数据大小约为30.5MB。为便于处理，我们减低了图片的分辨率并删除了彩色信息，数据最后转化为11.4MB。经过处理，将JPG图片格式转换为计算机通用交换格式netCDF, 产生出标准的netCDF文件, 大小约为44.6MB。从JPG文件生成netCDF文件的AVS/Express应用程序流程图如图7所示。在该应用程序中，我们使用了AVS/Express软件中的Write_netCDF模块以及自定义宏Read。 1）自定义宏Read读入许多JPG格式文件，并利用AVS/Express的域映射器（Field Mapper）和域组合器（Field Combiner）将JPG格式文件组合成AVS/Express的域数据格式。 2）Write_netCDF模块将AVS/Express域数据格式进行转换，并保存为计算机通用数据交换格式netCDF文件。 2．三维重构的具体过程（1）利用生成的AVS域数据结构进行虚拟人体全身表面体积重构。（a）AVS/Express应用程序流程图体表重构应用程序流程图如图8所示：图8 如图8所示，我们使用了AVS/Express成百个模块中的三个模块，它们分别是读入模块（Read_netCDF模块）, 体视化模块（volumn_render模块）和几何显示器模块（Uviewer3D模块）。 1）读入文件：读入模块的主要功能是从一个netCDF文件中读出相对应的数据集，并把它放入一个Avs/Express域中。该模块对原始数据文件进行打包处理，形成一个便于Avs/Express软件处理的相关数据结构。我们使用读入模块的目的就是要读入刚才我们产生的netCDF文件，并生成AVS显示所需要的域数据结构。 2）体视化的过程：体视化模块可以直接展示三维体数据。这个体可以使用BTF或者光线跟踪的体视化模式。光线跟踪的体视化模式仅仅在软件体视化中有效，它通常被设置成缺省状态。在上述两种情况下，当体视化的方式被激活，它可以支持体积和几何学的混合显示。这个模块通过它相对应的面板，提供一个非常便于使用的操作界面。该控制面板包含图形显示工具箱界面，体模式和数据图的算法成分。这些控制是体视化模块中最普通的使用特征，通过它们可以轻松的对该模块进行控制。我们使用该模块来将经过读入模块转换后的体数据进行体视化显示。体视化模块用三维纹理映射合成体数据中的断层面，以便几何显示器进行显示。 3）观察体积重构：几何显示器模块（Uviewer3D模块）定义了一个图形应用显示组件的所有必要成分。它是一个高级的应用程序对象，其中包含了多其他较低级别的对象。图9 如图9所示，该模块含有一个默认的图形窗口和用户界面编辑器。通过它使用者能够控制相关对象的显示。一个图形的处理仅仅对应一个单一的几何显示器模块。但是我们可以使用显示编辑面板来增加额外的图形窗口，从而通过多个显示图形窗口来观察被显示的对象。几何显示器模块包含“屏幕”（Scene），“屏幕选择器”（Scene Selector），“屏幕编辑器”（Scene Editor）。 “屏幕”定义一个最高层次的数据对象（Top），其下可以包含许多子对象。Top对象属性的任何改动都可能传递给其下面的子对象，从而可对整个对象层次进行统一处理。在“屏幕选择器”中，我们可以选择当前屏幕并把该屏幕的显示图像进行编辑处理。“屏幕编辑器”定义了一些相关工具栏，允许用鼠标对显示图像进行交互处理，例如重新设置图像的属性，使图像规一化等等。 “屏幕编辑器”提供了一整套编辑面板，比如光线编辑、照相机编辑、颜色映射编辑等等，实现对显示图像的后期处理，以达到满意的效果。（b）AVS/Express体表重构的结果从不同角度观看到的体表重构图，如图10，图11，图12所示：图10 图11 图12 （2）建造三维重构虚拟人体的矢状截面和冠状截面的图谱集。利用AVS/Express的切片模块（excavate_trick3D模块），获取三维重构虚拟人体的矢状截面图和冠状截面图。（a）AVS/Express应用程序流程图获取重构的三维人体矢状截面图和冠状截面图的应用程序流程图，如图13所示：图13 在这一过程中，我们主要使用了Read_netCDF模块,excavate_trick3D模块, Uviewer3D模块以及一个自定义宏colormap。 Excavate_brick3d模块的主要功能是展示统一标准的三维体数据。该模块将所展示的体分别用X,Y,Z三个切片板，从空间的三个方向进行标记。每一个切片板可以在体中进行等间距的移动，从而得到虚拟人体的矢状截面和冠状截面的图像，使得观察、了解体视化物体的内部结构成为可能。（b）结果 1）三维重构虚拟人体的矢状截面图如图14、图15、图16、图17所示。图14 图15 图16 图17 图14为三个切板位于X=154,Y=0,Z=0时，从重构的虚拟人体截取的矢状面截面图。图15为三个切板位于X=158,Y=0,Z=0时，从重构的虚拟人体截取的矢状面截面图。图16为三个切板位于X=162,Y=0,Z=0时，从重构的虚拟人体截取的矢状面截面图。图17为三个切板位于X=166,Y=0,Z=0时，从重构的虚拟人体截取的矢状面截面图。综上所述，我们利用X方向的切板取不同的数值，Y、Z方向的切板取零值，得到三维重构虚拟人体的矢状截面的图谱集。 2）三维重构虚拟人体的冠状面截面图如图18、图19、图20、图21所示。图18为三个切板位于X=0,Y=95,Z=0时，从重构的虚拟人体截取的冠状面截面图。图19为三个切板位于X=0,Y=105,Z=0时，从重构的虚拟人体截取的冠状面截面图。图20为三个切板位于X=0,Y=115,Z=0时，从重构的虚拟人体截取的冠状面截面图。图21为三个切板位于X=0,Y=125,Z=0时，从重构的虚拟人体截取的冠状面截面图。综上所述，我们利用Y方向的切板取不同的数值，X、Z方向的切板取零值，得到三维重构虚拟人体的冠状截面的图谱集。（3）获取三维重构虚拟人体的任意截面图。这一过程主要用到AVS软件模块中的抽取模块（Slice_plane模块）。该模块从读入模块产生的三维体数据中任意抽取一个切片。正如图22所示，抽取模块提供的位置编辑器（Transformation Editor）可以帮助使用者设置抽取切片的位置和方向。图23是用抽取模块的位置编辑器中X、Y、Z三个不同方向的旋转角度和远近位置来对三维体数据进行抽取的结果。在图23中，我们显示整个重构的虚拟人体的边界框，也显示出抽取面板的位置。（4）动画的生成。在这一过程中，我们利用体表重构的虚拟人体，对它进行旋转、放大，并将该过程记录下来以产生全身滚动的动画。我们使用动画生成器模块（animator模块）和图象捕捉模块（image capture模块）。动画生成器模块的主要功能是利用对象属性的关键帧进行差值，产生动画。并且可以将差值产生的动画在几何显示器模块中进行回放。图象捕捉模块的功能是抓取正在回放动画的图片，并将抓取的动画生成AVI或MPG图象文件并进行存盘。这样，我们可以利用一些动画回放软件如Win95下的媒体播放器播放该文件，再现动画的过程。六、结果和讨论 VHP数据集开拓了虚拟人体建造的新时代，它将对下一个世纪的医学教育、临床研究产生不可估量的影响。我们本课题利用VHP男性数据集的压缩版和可视化三维图像处理软件（AVS）进行了虚拟人体建造的实验。我们完成了体积重构、体表展示、人体矢状面和冠状面的重构图谱集，以及体表重构动画。从我们所做的初步工作来分析，我具体的体会到建造虚拟人体的意义和价值，而性能优良的图像处理软件是建造虚拟人体的高生产力的工具。由于使用的硬件资源不够充裕和时间的有限，使得完成的工作在分辨率和色彩方面受到限制。参考文献和网站： [1] http://www.nlm.nih.gov [2] http://www.uni-mainz.de/FB/Medizin/Anatomie/workshop/englWelcome.html [3] http://www.visu.uwlax.edu [4] http://www.rad.upenn.edu/rundle/InteractiveKnee.html [5] http://www.avs.com [6] K. Hoehne - The Visible Human Within the VOXEL-MAN Framework,Proceedings CD-ROM of Visible Human Project conference,1996 [7] Alexander S. Ade, University of Michigan,The Visible Human Female World Wide Web Browser, Proceedings CD-ROM of Visible Human Project Conference,1998 [8] Visible Human CD users's guide,Research System,Inc.,1995 [9] Getting Started,Advanced Visual Systems Inc. [10] Using AVS/Express, Advanced Visual Systems Inc. [11] AVS/Express Visulization technique, Advanced Visual Systems Inc. [12] AVS/Express Toolkits, Advanced Visual Systems Inc. [13] 计算机图形学教程唐荣锡编著 [14] 体视化技术及其应用技术管伟光编著

文章搜索

关键字: