混合實境HoloLens2 全方位為MR醫療開啟新頁
近年來，混合實境開始被應用於醫學教育，以及外科手術訓練，台灣微軟今年4月間特別舉辦一場研討會，邀請各地醫師、混合實境內容創作者、資訊工程師齊聚一堂，就技術發展與臨床醫學需求深入討論交流。
台大醫院智慧醫療中心副主任李建璋教授獲邀擔任開幕演講嘉賓，他認為混合實境技術在醫學教育最有效的應用就是大體解剖的教學。李建璋教授表示，由於當今大體取得的不易，還有很多先天性複雜的人體器官結構，使得醫學生們無法在小樣本的大體中獲得充分的訓練。況且，狹小的大體解剖空間，也沒有辦法滿足很多學生們同時對於很多重要器官的觀察。倘若在教學時能應用混合實境的科技，戴上混合實境(mixed reality，MR) 眼鏡後，學生們可以在實體的空間看到虛擬的解剖器官，而且可以透過手勢搬移，或是轉動解剖器官，來做不同角度的立體觀察，對身體的器官的立體三維空間（3D）結構，將有更深的認識。尤其是對複雜的先天性異常，例如先天性心臟病，傳統教科書的平面圖像或是文字的描述，都沒有辦法把特殊的3D立體結構，以及對應的血液動力學概念傳達給學生。史丹佛大學就曾用虛擬實境的科技建立一個兒童先天性心臟病的異常結構的資料庫，讓學生可以透過隨選的方式，來做沈浸式的體驗，充分理解各種不同型態的結構異常導致的血液動力學異常。
除此之外，李教授也提到，透過3D模型的組建，病人戴上MR 眼鏡，外科醫師就可以在擴增實境的世界裡解釋手術的規劃，讓病患更容易理解外科手術治療的程序與方針，提升病患的信心，也增加病患的安全感。台灣微軟首席營運長陳慧蓉表示，HoloLens 2可離線運算，同時能結合微軟的Azure雲端更強的運算力，在保護病患隱私與醫療合規前提下，HoloLens 2是絕佳的載具，在臨床上提供病患更為優化的就醫診治流程體驗，未來若能進一步結合電子病歷與健保資料庫，相信混合實境的技術在醫學影像辨識和人工智慧醫療創新上，可成為輔助醫護人員重要的推手。李建璋教授還提到，除了大體解剖教育與和病患的病情解說外，混合實境的科技對於以技巧為主的外科手術訓練，從簡單如中心靜脈導管的置放，到複雜的腦部癌症手術切除，虛擬實境都可以幫助外科醫師們縮短訓練的時間。而且還有最新的魔術手套技術，可以轉知手部小關節的活動，對於精細技術的訓練例如眼科手術，有更貼近真實情境的體驗。
然而李建璋教授也提醒，不是所有的情況都適合混合實境的教育，例如單純不複雜的構造，混合實境教育就沒有優勢，此外對於領域已經很熟練的專家，混合實境和傳統教育的差別也不大。另外，混合實境的教育必須結合互動的內容才能提升教育訓練的效果。為了讓擴增實境的技術更快的導入臨床，台大醫院李建璋教授攜手外科部郭庭均醫師，與科技龍頭微軟、醫學3D軟體先進 Materialize 與擴增實境應用方案apoQlar進行了一個跨領域產學合作案，成功利用胰臟腫瘤2D電腦斷層影像，重組成3D立體影像，並且利用人工智慧進行血管和胰臟組織的自動分割、套色，最後再投射到擴增實境的環境中。帶上微軟的混合實境眼鏡HoloLens 2，醫師可以對病患進行手術前解說，對手術團隊進行手術前計畫，還可以對外科學生進行手術教育。
微軟的HoloLens 2，除了可以作為擴增實境的載具，本身也是一個可以雙向溝通，同時又具有攝影機的通訊工具。疫情期間，李建璋教授也與微軟團隊和台大智慧醫療中心工程師們，打造一個低接觸的臨床醫療系統，護理師戴著頭盔進去隔離病室，在護理站的醫護人員們可以透過頭盔看到隔離室內的病患，同事們也可以同時雙向溝通來做問診和評估，護理師和護理站的醫療團隊也可以在HoloLens 2上直接查詢影像實驗室報告，並且開立醫囑，以完成幾乎零接觸卻能充分溝通，又高效率的醫療診治與相關作業。