微軟推出了GigaPath，這是一個視覺轉換器模型(ViT)，旨在解決數位化的複雜性病理。該模型是與普羅維登斯衛生系統和華盛頓大學合作開發的，有望利用先進的計算方法增強整個玻片的病理學分析。計算需求——影像比典型的玻片大得多——透過採用擴張的自註意力機制。這項技術使模型能夠處理分析如此大圖像所需的大量計算。數位病理學通常涉及將傳統玻片轉換為數位影像，以促進改進的查看、分析和儲存。 GigaPath 的開發是 Microsoft、普羅維登斯衛生系統和華盛頓大學合作努力的成果。 Prov-GigaPath 是一種開放取用的全玻片病理學基礎模型。它使用真實世界數據對源自 170,000 多張完整幻燈片的 10 億個 256 x 256 病理圖像圖塊進行了預訓練。所有計算均在普羅維登斯的私人租戶進行，並獲得了普羅維登斯機構審查委員會(IRB ) 的核准.
GigaPath的訓練過程分為兩個階段課程學習方法。首先使用 Meta 的自監督視覺變換器模型 DINOv2 進行圖塊級預訓練，然後逐步使用 masked 進行幻燈片級預訓練自動編碼器和LongNet。 DINOv2 自監督方法結合掩模重建損失和對比損失來訓練視覺變壓器。 LongNet 的擴張注意力適用於幻燈片層級建模，將圖塊序列分割成可管理的片段，並對較長的片段實施稀疏注意力。/strong>
GigaPath 表現出了卓越的性能，在 26 項與癌症亞型和病理組學相關的任務中，有 18 項超過了第二好的模型。癌症亞型分析涉及使用病理學幻燈片對特定亞型進行分類，而病理學任務則根據治療上重要的遺傳改變對腫瘤進行分類。 Prov-GigaPath 表現出了卓越的性能，特別是在泛癌場景中，與其他方法相比，在AUROC 和AUPRC 方面取得了顯著改進。數據進一步驗證了該模型的功效。 GigaPath 能夠在整個玻片層級上提取遺傳相關的泛癌和亞型特異性形態特徵，這突顯了其在腫瘤微環境複雜生物學的未來研究中的潛力。生成人工智慧的進步發揮了作用在 GigaPath 的發展中發揮著至關重要的作用。將腫瘤組織的標準顯微鏡載玻片轉換為高解析度數位影像的過程現已廣泛應用。在《自然》雜誌上發表的一項研究中，GigaPath 背後的研究人員詳細介紹了該工具病理分析的各種應用圖片。研究發現，GigaPath 改進了九種主要癌症類型的癌症分型，並且在分型任務上優於所有競爭方法。
