人工智能下一個風口是醫(yī)療，這是業(yè)界公認的。現(xiàn)如今醫(yī)療水平已經(jīng)無法滿足人們的需求。而人工智能的到來或許能夠解決這一瓶頸。目前，AI與醫(yī)療的結合主要是利用計算機視覺進行影響分析，因此通過深度學習，能夠在眼科、皮膚科、放射科和病理科等醫(yī)學學科領域展現(xiàn)出了極大的應用前景。

左圖：增強現(xiàn)實顯微鏡的原理概述。一臺數(shù)碼相機捕捉到與用戶相同的視場（FoV），然后將圖像傳送給一個附加的計算單元，該單元能夠運行實時推理的機器學習模型。隨后推理結果被反饋到一個定制的AR顯示屏，該顯示屏與目鏡內(nèi)聯(lián)，并將模型輸出的結果與標本顯示在同一平面上。右圖：該圖展示了我們的平臺原型被改造成典型臨床級光學顯微鏡后的樣子。

理論上，增強現(xiàn)實顯微鏡可以提供各式各樣的視覺反饋，包括文本、箭頭、輪廓、熱圖和動畫，而且可以運行多種類型的機器學習算法以應對不同的任務，比如對象檢測、量化和分類等。

為了演示增強現(xiàn)實顯微鏡的功能，我們讓其運行兩種不同的癌癥檢測算法：一種用于檢測淋巴結標本中的乳腺癌轉移，另一種用于檢測前列腺切除術標本中的前列腺癌。這些算法可以在4-40x的放大倍數(shù)下運行，并用綠色輪廓勾畫出檢測到腫瘤區(qū)域。這些輪廓可以幫助病理學家注意到感興趣的區(qū)域，而不至于遺漏外觀模糊的腫瘤細胞。

?

Google重磅醫(yī)療AI成果：增強現(xiàn)實顯微鏡可實時分析病理切片

通過增強現(xiàn)實顯微鏡觀察到的視圖。這些圖像展示了4x、10x、20x和40x放大倍數(shù)下的淋巴結標本。

雖然這兩個癌癥檢測模型并非用增強現(xiàn)實顯微鏡直接捕獲的圖像進行訓練的，但它們在后者上表現(xiàn)非常出色，無需額外的訓練。我們相信，假如直接用增強現(xiàn)實顯微鏡獲取的圖像做進一步訓練，這些算法的表現(xiàn)還將繼續(xù)提升。

最初都是用來自一種光學結構完全不同的完整標本掃描儀的圖像訓練的，但他們在增強現(xiàn)實顯微鏡平臺上的表現(xiàn)非常出色，無需額外的在訓練。例如，淋巴結轉移檢測模型在增強現(xiàn)實顯微鏡上運行時曲線面積達到了0.98，前列腺癌檢測模型的曲線面積達到了0.96，僅略低于WSI上得到的結果。

我們相信，這款增強現(xiàn)實顯微鏡將給全球衛(wèi)生事業(yè)產(chǎn)生重大影響，尤其是在發(fā)展中國家的傳染病診斷方面——包括結核病和瘧疾等。此外，在即將采用數(shù)字病理工作流程的醫(yī)院，增強現(xiàn)實顯微鏡也可以與數(shù)字工作流程結合使用。光學顯微鏡已經(jīng)在很多行業(yè)已經(jīng)證明了其價值，但在病理學領域作用有限。我們相信增強現(xiàn)實顯微鏡可以應用于醫(yī)療、生命科學研究和材料科學等眾多領域。我們很高興能繼續(xù)探索這款增強現(xiàn)實顯微鏡，幫助加速機器學習技術在世界各地產(chǎn)生積極影響。（羅欣）