淺談虛擬現(xiàn)實教學軟件開發(fā)中的交互技術的論文
摘要：為了順應虛擬現(xiàn)實在教育領域的必然發(fā)展趨勢，提出了基于HTC Vive的教學軟件開發(fā)，而開發(fā)過程的核心就是交互技術的實現(xiàn)，通過對交互設備的分析，從輸入設備和輸出設備兩個方面來進行交互技術的詳細研究，并通過交互技術在教學軟件開發(fā)中提供的理論和技術支持來闡述虛擬現(xiàn)實環(huán)境下教學軟件開發(fā)的必要性與科學性
關鍵詞：虛擬現(xiàn)實；反饋；交互；用戶界面；教學軟件
中圖分類號：TP391 文獻標識碼：A 文章編號：1009-3044（2017）28-0086-03
Abstract： In order to conform to the inevitable trend of the development of virtual reality in the field of education， the development of teaching software Based on Vive is put forward， realizing interactive technology is the core of the development process. By analysis of interactive devices， a detailed study of the interactive technology from two aspects of input and output devices is commissioned， and with the support of theory and technology of interactive technology in teaching software development， expounding the necessity and scientificalness of the development of teaching software in virtual reality environment.
Key words： virtual reality； feedback； interaction； user interface； teaching software
虛擬現(xiàn)實的出現(xiàn)使得教育手段更加完善，教學環(huán)境逐步趨于虛擬化，教學與虛擬現(xiàn)實的結(jié)合為教育教學開辟了新的領域，教學方法也更加具備科學性和真實性。如今虛擬現(xiàn)實的迅速發(fā)展，無疑將開啟一種新的教學模式——身臨其境的教學模式，相比傳統(tǒng)實驗室教學更
具備安全性，相比傳統(tǒng)的情景式教學更具備情境性。HTC Vive教學軟件的開發(fā)核心是真實的交互體驗，交互技術的實現(xiàn)對于教學效果的體現(xiàn)是成正比的。HTC Vive是基于PC端的，所以交互技術是從輸入和輸出設備兩方面來體現(xiàn)。
1 VR中的輸入輸出設備
一個完整的虛擬現(xiàn)實教學軟件系統(tǒng)包括五個部分：虛擬學習場景、計算機、VR教學軟件、輸入設備和輸出設備。所以教學中的交互必須在這幾個部分中實現(xiàn)，虛擬頭顯的操作基本已經(jīng)脫離鼠標和鍵盤的操作，依靠的是手柄、游戲桿或遙控器等媒介來實現(xiàn)，我們與虛擬世界的連接點在于頭顯中的視屏和手柄設備，也就是輸入設備和輸出設備，對于計算機和虛擬世界并沒有直接聯(lián)系，VR軟件作為一個媒介連接電腦與設備，所以交互技術最終要實現(xiàn)在輸入與輸出設備上，輸入設備的交互實現(xiàn)主要是通過對設備的觸摸、移動和按壓等，輸出設備的交互實現(xiàn)主要體現(xiàn)在聲音反饋和震動反饋等。因此，交互技術的開發(fā)主要圍繞這兩個部分來展開。一個完整的虛擬現(xiàn)實學習系統(tǒng)如下圖：
1.1 輸出設備
交互最終的效果體現(xiàn)在對使用者五官的刺激上，基于輸出設備的交互方式大多通過聽覺來實現(xiàn)，目前為止，只有極少數(shù)的虛擬現(xiàn)實設備能夠?qū)崿F(xiàn)對嗅覺與特殊觸覺的刺激。這種基于輸出設備交互技術在教學中的較為簡單的體現(xiàn)就是聲音與震動的反饋。
1.1.1 聲音反饋
HTC Vive交互中聲音的反饋來自于電腦的聲卡的輸出功能，外接耳機與音響就是將聲卡的輸出功能具體化，聲音反饋本質(zhì)上就是一種交互，是人作用于虛擬世界后產(chǎn)生的效果以聲音的形式展現(xiàn)出來。這種交互形式相對簡單，也是我們平時最為常見的一種交互形式。
1.1.2 震動反饋
震動反饋看似復雜，但是對于程序的編寫人員來說實現(xiàn)卻相當容易，引入VRTK工具包就可通過簡單的設置震動的Strength（強度）、duration（持續(xù)時間）以及pulseInterval（震動間隔）來調(diào)節(jié)震動反饋的效果，強度的范圍一般為0-3999，所以在不同的場景中，震動的反饋方式可以實現(xiàn)多樣化，以呈現(xiàn)出更逼近真實的體驗。這種震動反饋也只是簡單的觸覺體驗，而對于在特殊場景下產(chǎn)生的特殊觸覺卻依舊無法實現(xiàn)。這種震動反饋可應用于教學開發(fā)中的直接傳遞給學習者的一種實質(zhì)性提示。
1.2 輸入設備
傳統(tǒng)的基于移動端或PC端的教學軟件交互主要是通過鍵鼠和屏幕操作來實現(xiàn)，而HTC Vive依賴于輸入設備的交互形式主要是通過對輸入設備的觸摸和按壓等，并且HTC Vive虛擬現(xiàn)實設備可通過一種激光定位的形式將捕捉到的動作轉(zhuǎn)換為數(shù)據(jù)錄入電腦，然后通過分析數(shù)據(jù)將動作在虛擬世界中再現(xiàn)從而實現(xiàn)一種交互，這種交互技術在x-box和一些電視一體游戲機中也有過一定的體現(xiàn)。
輸入設備是教學軟件中交互技術的主要載體，基于HTC Vive的輸入設備主要包括激光定位器，頭戴顯示器和手柄，手柄作為虛擬現(xiàn)實交互的主要媒介也是交互技術開發(fā)的重中之重。
2 VR教學軟件中的交互技術
虛擬現(xiàn)實促使教學模式發(fā)生改變，交互技術的支持突破了傳統(tǒng)的教師掌握課堂模式，學生主動進行學習，有利于創(chuàng)新思維和能力的開發(fā)。幾種友好的UI界面和立體展示的接近真實的學習環(huán)境很大程度上提升了學生學習興趣，進而提高學習效率。endprint
2.1 激光定位技術
HTC Vive虛擬現(xiàn)實設備中自帶有激光定位器，通過定位器我們可以直接實現(xiàn)場景內(nèi)外漫游的同步，用戶可以很容易實現(xiàn)兩種漫游模式，站立式與房間模式，但 HTC Vive激光定位器的內(nèi)部設計較為復雜，在2016-2017年間，加利福尼亞大學戴維斯分校的一名虛擬現(xiàn)實研究人員Oliver Kreylos詳細的分析了HTC Vive的激光定位器，這篇分析涉及了定位器的更新頻率與延遲、跟蹤抖動、慣性定位推算、漂移校正以及準確度等幾個方面，這對于Vive開發(fā)人員可以說是非常好的一件事，盡量降低不必要的誤差，提高準確率，實現(xiàn)高效率、高精確度、高仿真的交互。這種室內(nèi)動作和定位的技術對于虛擬實驗室這類區(qū)域性教學軟件的開發(fā)有著突破性的價值。
實驗室教學活動的重要組成部分，親身實驗的效果遠比單純的理論教學更有說服力，并且能夠產(chǎn)生更好的學習效果。但是教學實驗的時間、空間問題矛盾較為突出。昂貴的設備和實驗材料經(jīng)費是主要矛盾，而基于HTC Vive的虛擬現(xiàn)實實驗很好地避免了這個問題，時間不限，足不出戶便可實驗。同時生物和化學方面的實驗危險性也是極其突出的矛盾，而交互技術支持下的虛擬現(xiàn)實實驗將沒有任何危險性，但是又與現(xiàn)實實驗有接近同樣的體驗。
2.2 手柄交互技術
在教學手段方面，相對傳統(tǒng)基于移動和PC端的教學軟件開發(fā)而言，交互技術的加入使得互動式的啟發(fā)教學尤為明顯，尤其體現(xiàn)在對手柄的操作。身臨其境、自主控制的人機交互，視覺、聽覺、觸覺的生動展示提供了生動活潑的直觀形象思維材料，形成知識點，將原本平面化的事物展示在眼前。
手柄是教學中實現(xiàn)交互的最重要設備，如通過菜單按鈕、touchPad、系統(tǒng)按鈕、扳機鍵和側(cè)面的手柄按鈕等。首先通過手柄實現(xiàn)交互的最簡單方式就是觸碰，不需要任何按鍵，如在一些虛擬世界中，我們需要將手柄做成教學軟件中需要的模型，那么觸碰就是必不可少的交互方式，以Unity游戲引擎開發(fā)為例，這種交互技術的實現(xiàn)與傳統(tǒng)的教學軟件開發(fā)中Trigger（觸發(fā)器）的實現(xiàn)原理一致，在手柄模型接觸到物體、停留在物體中和離開物體時，分別調(diào)用Unity內(nèi)置的'OnTriggerEnter、OnTriggerStay和OnTriggerExit函數(shù)并在函數(shù)內(nèi)實現(xiàn)相應的功能即可，這種交互技術在由電腦屏幕操作到虛擬現(xiàn)實操作轉(zhuǎn)變過程中其本質(zhì)原理是不變的，只是在展示給用戶的使用形式上發(fā)生了改變，所以相對于開發(fā)人員來說，由普通的2D和3D電腦手機游戲轉(zhuǎn)向虛擬頭顯游戲開發(fā)過程中，這種交互技術是最容易理解和掌握的。
再者就是HTC Vive虛擬現(xiàn)實教學軟件開發(fā)不同于傳統(tǒng)教學軟件開發(fā)的交互技術，總體來說可以歸結(jié)為一種UI的交互，在Stream平臺中，成型的基于HTC Vive的教學軟件已經(jīng)越來越多，但是交互技術可以說是萬變不離其宗，其中一部分是通過手柄下方的Trigger扳機鍵來實現(xiàn)虛擬環(huán)境中按鈕的打開與關閉，這方面與傳統(tǒng)的Unity開發(fā)按鈕的使用原理也不盡相同，但是大部分項目使用的是最為常用的交互技術——射線交互，用戶在使用手柄過程中可在虛擬環(huán)境中的手柄上端發(fā)射出一條激光指針，通過指針與另一端的UI進行交互，這種交互技術主要是通過引用VRTK中的SimplePointer來實現(xiàn)，通過動態(tài)的設置射線接觸UI的過程中UI產(chǎn)生的顏色和形式的變化來實現(xiàn)交互，這種交互技術脫離了傳統(tǒng)媒介的交互模式，充分地展現(xiàn)了虛擬學習場景中獨具時代感的交互模式，在虛擬學習場景中實現(xiàn)了未來康寧玻璃式的交互方式，并且充分展示了手柄的獨特與靈活之處，所以這種射線交互技術得到了最為廣泛的使用。同時另一種射線交互Bezzier Pointer，也就是我們常說的貝塞爾曲線，通過簡單的接觸TouchPad就可以在虛擬學習場景中實現(xiàn)瞬移，TouchPad就相當于整個虛擬學習場景地面，通過手在TouchPad上滑動取點，就可在虛擬學習場景中選擇對應的瞬移終點，這種交互技術將虛擬世界復雜的不規(guī)則曲線運動變得規(guī)則，同時又解決了虛擬現(xiàn)實項目運行所需的空間限制問題，僅需站立模式就可實現(xiàn)房間模式所能實現(xiàn)的效果，將Bezzier曲線巧妙地應用于虛擬教學中，可以說這種交互技術實現(xiàn)了一舉多得的效果。
最后一種利用手柄實現(xiàn)的交互技術我們稱之為手柄菜單，簡單的手柄菜單就是在虛擬手柄上方添加一個UI，可通過編寫手柄按鍵來實現(xiàn)UI的隱藏與顯示；稍微復雜的手柄菜單也就是RadiaMenu（環(huán)形菜單），通過將RadiaMenu 預制體綁定到對應的控制器下，并設計環(huán)形菜單的圖案與點擊事件來完成編寫，用戶可通過滑動觸摸TouchPad來選擇對應的環(huán)形菜單按鈕從而實現(xiàn)交互。這種手柄菜單也是目前Vive開發(fā)中較為常用的一種交互技術。
2.3 頭顯凝視技術
學習者在學習過程中，交互形式多種多樣，而最為簡單的一種方式就是用眼睛觀看，這種技術在以往任何形式的教學軟件中都未曾實現(xiàn)，但是基于HTC Vive的虛擬現(xiàn)實教學軟件卻可以實現(xiàn)，這種交互技術叫做凝視，凝視反映出頭顯在作為一種輸出設備的同時，也可作為一種輸入設備。
SteamVR_GazeTracker（凝視）是一種在沒有手柄等輸入設備的情況下，可以通過眼睛盯著某個物體看來實現(xiàn)的一種視點交互。我們只需要將輔組類添加到我們想要凝視的物體上，比如菜單等，就可以實現(xiàn)凝視的功能，這是不依靠其他設備，直接通過頭顯實現(xiàn)的一種交互技術。
凝視的原理實際上是從頭盔的位置發(fā)出一條射線判斷是否與物體相交來做選中或者交互的。而且因為凝視的精確度不高，所以沒有做直接與物體相交，而是在物體的位置創(chuàng)建了一個平面，通過射線與平面相交的交點的位置與物體的距離來大概判斷的。這個距離值是可以調(diào)的，主要是對Gaze In Cutoff和Gaze Out Cutoff兩個參數(shù)設置來調(diào)整是否選中的距離。
頭戴顯示器交互的實現(xiàn)直接決定虛擬教學的沉浸程度。就角色層面而言，交互技術支持下的操作具備很強的沉浸性和交互性，比如虛擬駕校學習軟件出現(xiàn)使得學生在虛擬環(huán)境中完全扮演一個學徒的角色，全身心的投入環(huán)境中，體驗著只有真實駕校才可能有的體驗，這對后面真實的學習起著一種過渡作用，角色化的學習更有利于對技能的掌握。
3 結(jié)束語
隨著虛擬現(xiàn)實技術和開發(fā)引擎的不斷發(fā)展，目前尚未成熟的基于HTC Vive虛擬現(xiàn)實設備的交互技術的開發(fā)也會逐步完善。這使得虛擬現(xiàn)實新領域的探索成為了未來教育發(fā)展的一種必然趨勢，HTC Vive這類沉浸式頭戴顯示器的開發(fā)程度也會逐漸提升，更多的基于HTC Vive的交互技術將被開發(fā)出來，更多種的交互方式將被應用在教育教學之中，跟隨時代的步伐，掌握最前沿的開發(fā)技術，已成為信息時代的需要，更是未來教育發(fā)展的需要。
參考文獻：
[1] 陳耕藝. 虛擬現(xiàn)實的社交之路[J]. 中國信息化， 2015（6）.
[2] 牟長軍， 童志偉. 綜述虛擬現(xiàn)實技術及其應用[J]. 裝備制造技術， 2007（1）.
[3] 張璐. 基于虛擬現(xiàn)實技術的用戶界面設計與研究[D]. 上海： 東華大學， 2013.
[4] 李國杰. 基于虛擬現(xiàn)實技術的力覺交互設備的研究與構(gòu)建[D]. 上海： 上海交通大學， 2008.
[5] 張少波. 沉浸式虛擬現(xiàn)實中人機交互關機技術研究[D]. 重慶： 重慶郵電大學， 2016.
[6] 杭云， 蘇寶華. 虛擬現(xiàn)實與沉浸式傳播的形成[J]. 現(xiàn)代傳播：中國傳媒大學學報， 2007（6）.
[7] 張鳳君， 戴國忠， 彭曉蘭. 虛擬現(xiàn)實的人機交互綜述[J]. 中國科學： 信息科學， 2016.
[8] 帥立國. 虛擬現(xiàn)實及觸覺交互技術[J]. 人民論壇-學術前沿， 2016（24）：68-83.
[9] 趙沁平. 虛擬現(xiàn)實綜述[J]. 中國科學， 2009（1）：2-46.
[10] 劉氫. 基于Unity3D和htcvive的虛擬現(xiàn)實游戲設計與實現(xiàn)[J]. 通訊世界， 2017（3）.
[11] 蔣文君. 互動與沉浸——虛擬現(xiàn)實開啟廣告新時代[J]. 西部廣播電視， 2016（13）.
【淺談虛擬現(xiàn)實教學軟件開發(fā)中的交互技術的論文】相關文章：
虛擬現(xiàn)實技術中VR計算機教學的應用論文06-15
淺談高中信息技術教學中的分層教學論文06-19