架構
此架構的設計旨在FlexPod 在在整個運算、網路和儲存堆疊中、元件或連結故障時、提供高可用度。用戶端存取與儲存存取的多重網路路徑、可提供負載平衡與最佳資源使用率。
下圖說明醫療影像系統解決方案部署的16GB FC/40Gb乙太網路(40GbE)拓撲。
儲存架構
請使用本節中的儲存架構準則、為企業醫療影像系統設定儲存基礎架構。
儲存層
典型的企業醫療影像環境由數個不同的儲存層組成。每一層都有特定的效能與儲存傳輸協定需求。NetApp儲存設備支援各種RAID技術、如需詳細資訊、請參閱 "請按這裡"。以下是NetApp AFF 的NetApp功能儲存系統如何滿足影像系統不同儲存層的需求:
-
*效能儲存設備(第1層)。*此層可為資料庫、作業系統磁碟機、VMware虛擬機器檔案系統(VMFS)資料存放區等提供高效能與高備援。區塊I/O會移至共享的SSD儲存陣列、如ONTAP 所設定。最小延遲為1毫秒至3毫秒、偶爾尖峰為5毫秒。此儲存層通常用於短期儲存快取、通常是6至12個月的影像儲存、可快速存取線上的DICOM影像。此層可為影像快取、資料庫備份等提供高效能與高備援。NetApp All Flash Array在持續頻寬下提供低於1毫秒的延遲、遠低於一般企業醫療影像環境所預期的服務時間。NetApp ONTAP 支援RAID-TEC 兩種功能(三重同位元檢查RAID以維持三個磁碟故障)和RAID DP 支援(雙同位元檢查RAID以維持兩個磁碟故障)。
-
*歸檔儲存設備(第2層)。*此層用於典型的成本最佳化檔案存取、RAID 5或RAID 6儲存設備、以用於較大的磁碟區、以及長期低成本/效能歸檔。NetApp ONTAP 支援RAID-TEC 兩種功能(三重同位元檢查RAID以維持三個磁碟故障)和RAID DP 支援(雙同位元檢查RAID以維持兩個磁碟故障)。NetApp FAS 的支援功能FlexPod 可將NFS / SMB上的應用程式I/O影像化至SAS磁碟陣列。NetApp FAS 供應約10毫秒的持續頻寬延遲、遠低於企業醫療影像系統環境中儲存層2的預期服務時間。
混合雲環境中的雲端型歸檔可用於使用S3或類似傳輸協定歸檔至公有雲儲存供應商。NetApp SnapMirror技術可將影像資料從All Flash或FAS 支援整合式陣列複寫到較慢磁碟型儲存陣列、Cloud Volumes ONTAP 或是複寫到AWS、Azure或Google Cloud的支援功能。
NetApp SnapMirror提供領先業界的資料複寫功能、可透過統一化資料複寫來保護醫療影像系統。透過跨平台複寫(從Flash到磁碟到雲端)、簡化整個資料架構的資料保護管理:
-
在NetApp儲存系統之間無縫且有效率地傳輸資料、以相同的目標Volume和I/O串流支援備份與災難恢復。
-
容錯移轉至任何次要Volume。從次要儲存設備上的任何時間點Snapshot中恢復。
-
利用可用的零資料遺失同步複寫(RPO = 0)來保護您最重要的工作負載。
-
減少網路流量。透過高效率的作業來減少儲存設備的佔用空間。
-
只傳輸變更的資料區塊、藉此減少網路流量。
-
在傳輸期間、保留主要儲存設備的儲存效率效益、包括重複資料刪除、壓縮及壓縮。
-
透過網路壓縮提供額外的即時效率。
如需更多 "請按這裡"資訊、請參閱。
下表列出典型醫療影像系統在特定延遲和處理量效能特性方面所需的每個層級。
儲存層 | 需求 | NetApp建議 |
---|---|---|
1. |
1–5ms延遲35–500Mbps處理量 |
搭配兩個磁碟櫃的不超過1毫秒延遲的可靠性(HA)配對、可處理高達1.6GBps的處理量AFF AFF |
2. |
內部部署歸檔 |
延遲高達30毫秒的系統FAS |
歸檔至雲端 |
SnapMirror複寫到Cloud Volumes ONTAP 以NetApp StorageGRID 支援軟體進行的支援或備份歸檔 |
儲存網路連線能力
FC架構
-
FC架構適用於從運算到儲存的主機作業系統I/O。
-
兩個FC架構(結構A和結構B)分別連接至Cisco UCS Fabric A和UCS Fabric B。
-
每個控制器節點上都有一個儲存虛擬機器(SVM)、其中包含兩個FC邏輯介面(lifs)。在每個節點上、有一個LIF連接至Fabric A、另一個則連接至Fabric B
-
16Gbps FC端點對端點連線是透過Cisco MDS交換器進行。系統會設定單一啟動器、多個目標連接埠和分區。
-
FC SAN開機是用來建立完全無狀態運算。伺服器是從AFF 位於以LUN為主控的開機磁碟區中的LUN開機。
IP網路、可透過iSCSI、NFS及SMB/CIFS進行儲存存取
-
每個控制器節點的SVM中有兩個iSCSI LIF。在每個節點上、有一個LIF連接至Fabric A、而第二個則連接至Fabric B
-
每個控制器節點的SVM中有兩個NAS資料生命期。在每個節點上、有一個LIF連接至Fabric A、而第二個則連接至Fabric B
-
儲存連接埠介面群組(虛擬連接埠通道[vPC])、用於10Gbps連結至交換器N9K-A、10Gbps連結至交換器N9K-B
-
從VM到儲存設備的ext4或NTFS檔案系統工作負載:
-
IP iSCSI傳輸協定。
-
-
NFS資料存放區裝載的VM:
-
VM OS I/O會透過Nexus交換器透過多個乙太網路路徑傳輸。
-
頻內管理(主動-被動結合)
-
管理交換器N9K-A的1Gbps連結、以及管理交換器N9K-B的1Gbps連結
備份與還原
「資料中心」建置於由NetApp資訊管理軟體管理的儲存陣列上。FlexPod ONTAP此軟體已發展20多年、為VM、Oracle資料庫、SMB/CIFS檔案共用和NFS提供許多資料管理功能。ONTAP它也提供保護技術、例如NetApp Snapshot技術、SnapMirror技術和NetApp FlexClone資料複寫技術。NetApp SnapCenter 支援伺服器和GUI用戶端、可將ONTAP Snapshot、SnapRestore 支援功能與FlexClone功能用於VM、SMB/CIFS檔案共用、NFS及Oracle資料庫備份與還原。
NetApp SnapCenter 的軟件採用 "專利技術" Snapshot技術、可即時在NetApp儲存Volume上建立整個VM或Oracle資料庫的備份。相較於Oracle Recovery Manager(RMAN)、Snapshot複本不需要完整的基礎備份複本、因為它們並未儲存為區塊的實體複本。建立ONTAP WAFL Snapshot複本時、Snapshot複本會儲存為指向儲存區塊的指標、如同它們在整個過程中存在於這個檔案系統中一樣。由於實體關係十分緊密、因此Snapshot複本會與原始資料維持在相同的儲存陣列上。也可以在檔案層級建立Snapshot複本、讓您更精細地控制備份。
Snapshot技術是以重新導向寫入技術為基礎。它最初只包含中繼資料指標、在第一次資料變更至儲存區塊之前不會佔用太多空間。如果現有的區塊被Snapshot複本鎖定、ONTAP WAFL 則由該系統將新的區塊寫入為作用中複本。此方法可避免寫入時變更技術所產生的雙寫入。
對於Oracle資料庫備份、Snapshot複本可節省驚人的時間。例如、僅使用RMAN需要26小時才能完成備份、使用SnapCenter 該軟件只需不到2分鐘即可完成。
由於資料還原不會複製任何資料區塊、而是在建立Snapshot複本時、將指標翻轉至應用程式一致的Snapshot區塊映像、因此Snapshot備份複本幾乎可以即時還原。實體複製會建立中繼資料指標的個別複本、以連結至現有的Snapshot複本、並將新複本掛載至目標主機。SnapCenter這項程序也很快速、儲存效率也很高。
下表摘要說明Oracle RMAN與NetApp SnapCenter RMAN軟體之間的主要差異。
備份 | 還原 | 複製 | 需要完整備份 | 空間使用量 | 異地複本 | |
---|---|---|---|---|---|---|
RMAN |
慢 |
慢 |
慢 |
是的 |
高 |
是的 |
SnapCenter |
快速 |
快速 |
快速 |
否 |
低 |
是的 |
下圖顯示SnapCenter 了這個架構。
全球數千家企業使用NetApp MetroCluster 的支援組態、無論是在資料中心內外、都能實現高可用度(HA)、零資料遺失及不中斷營運。不需使用任何功能、即可在不同位置或故障領域的兩個叢集之間同步鏡射資料和組態。MetroCluster ONTAP ONTAP透過自動處理兩個目標、提供持續可用的應用程式儲存:透過同步鏡射寫入叢集的資料、實現零恢復點目標(RPO)MetroCluster 。鏡射組態並在第二個站台自動存取資料MetroCluster 、達到近乎零的還原時間目標(RTO)、可在兩個站台的兩個獨立叢集之間自動鏡射資料和組態、提供簡易性。在一個叢集內配置儲存設備時、會自動鏡射到第二個站台的第二個叢集。NetApp SyncMirror 支援技術以零RPO提供所有資料的完整複本。因此、某個站台的工作負載可隨時切換至另一個站台、並繼續提供資料、而不會遺失資料。如需詳細資訊、請參閱 "請按這裡"。
網路
一對Cisco Nexus交換器可為從運算到儲存設備的IP流量、以及醫療影像系統映像檢視器的外部用戶端、提供備援路徑:
-
整合使用連接埠通道和VPC的連結、可實現更高頻寬和高可用度的設計:
-
VPC用於NetApp儲存陣列與Cisco Nexus交換器之間。
-
VPC用於Cisco UCS網路互連與Cisco Nexus交換器之間。
-
每部伺服器都有虛擬網路介面卡(vNIC)、可與統一化架構進行備援連線。NIC容錯移轉是在光纖互連之間使用、以提供備援功能。
-
每部伺服器都有虛擬主機匯流排介面卡(vHBA)、可與統一化架構進行備援連線。
-
-
Cisco UCS網路互連是根據建議以終端主機模式設定、可將vNIC動態固定至上行鏈路交換器。
-
FC儲存網路由一對Cisco MDS交換器提供。
運算:Cisco Unified Computing System
兩個Cisco UCS架構透過不同的架構互連提供兩個故障網域。每個網路都連接到IP網路交換器和不同的FC網路交換器。
每個Cisco UCS刀鋒的服務設定檔都是根據FlexPod 執行VMware ESXi的最佳實務做法所建立。每個服務設定檔都應包含下列元件:
-
兩個vNIC(每個架構上各一個)、用於傳輸NFS、SMB/CIFS、以及用戶端或管理流量
-
vNIC的額外必要VLAN、適用於NFS、SMB/CIFS、用戶端或管理流量
-
兩個vNIC(每個架構各一個)、用於傳輸iSCSI流量
-
兩個儲存FC HBA(每個架構各一個)、用於FC到儲存設備的流量
-
SAN開機
虛擬化
VMware ESXi主機叢集可執行工作負載VM。叢集包含在Cisco UCS刀鋒伺服器上執行的ESXi執行個體。
每個ESXi主機都包含下列網路元件:
-
SAN透過FC或iSCSI開機
-
在NetApp儲存設備上開機LUN(在專屬FlexVol 的支援作業系統中)
-
兩個用於NFS、SMB/CIFS或管理流量的vmnics(Cisco UCS vNIC)
-
兩個儲存HBA(Cisco UCS FC vHBA)、用於FC與儲存設備之間的流量
-
標準交換器或分散式虛擬交換器(視需要)
-
工作負載VM的NFS資料存放區
-
VM的管理、用戶端流量網路和儲存網路連接埠群組
-
用於管理、用戶端流量和儲存存取(NFS、iSCSI或SMB/CIFS)的網路介面卡、適用於每個VM
-
VMware DRS已啟用
-
為FC或iSCSI儲存路徑啟用原生多重路徑
-
VMware VM快照已關閉
-
NetApp針對VMware部署的VMware虛擬機器備份技術SnapCenter
醫療影像系統架構
在醫療組織中、醫療影像系統是重要的應用程式、從病患登錄開始、到營收週期結束計費相關活動的臨床工作流程、都已妥善整合。
下圖顯示典型大型醫院所涉及的各種系統;此圖旨在提供醫療影像系統的架構背景、然後再放大典型醫療影像系統的架構元件。工作流程差異很大、而且是醫院和使用案例的特定項目。
下圖顯示病患、社區診所及大型醫院的醫療影像系統。
-
病患前往社區診所就診時會出現症狀。在諮詢期間、社群醫師會以「HL7 Order(HL7醫令)」訊息的形式、將影像醫令傳送至較大的醫院。
-
社群醫師的EHR系統會將「HL7 ORP/ORD」訊息傳送至大型醫院。
-
企業互通性系統(也稱為企業服務匯流排[ESB])會處理訂單訊息、並將訂單訊息傳送至EHR系統。
-
EHR會處理訂單訊息。如果病患記錄不存在、則會建立新的病患記錄。
-
EHR會將造影訂單傳送至醫療造影系統。
-
病患致電大型醫院進行造影預約。
-
造影接收和登錄台會使用放射資訊或類似系統、排定病患進行造影約會的時間。
-
病患抵達進行影像預約、並建立影像或影片並傳送至PACS。
-
放射科醫師使用高階/GPU圖形化診斷檢視器、讀取影像並在PACS中註釋影像。某些映像系統在映像工作流程中內建人工智慧(AI)功能、可提升效率。
-
影像順序結果會透過ESB,以醫令結果HL7-ORU訊息的形式傳送至EHR。
-
EHR會將醫令結果處理至病患記錄、並以背景感知連結放置縮圖影像至實際的DICOM影像。如果需要從EHR內部獲得更高解析度的影像、醫師可以啟動診斷檢視器。
-
醫師檢閱影像並將醫師註釋輸入病患記錄。醫師可以使用臨床決策支援系統來強化審查程序、並協助病患進行適當的診斷。
-
EHR系統接著會以訂單結果訊息的形式、將訂單結果傳送至社區醫院。此時、如果社區醫院可以接收完整影像、則影像會透過WADO.或Dicom傳送。
-
社群醫師完成診斷、並為病患提供後續步驟。
典型的醫療影像系統使用N層架構。醫療影像系統的核心元件是應用程式伺服器、可裝載各種應用程式元件。典型的應用程式伺服器為Java執行時間型或C#.Net CLr型。大多數企業醫療成像解決方案都使用Oracle資料庫伺服器、MS SQL Server或Sybase做為主要資料庫。此外、有些企業醫療影像系統也會使用資料庫來加速內容、並在地理區域內快取。有些企業醫療影像系統也會使用NoSQL資料庫、例如MongoDB、Redis等、搭配企業整合伺服器、以用於DICOM介面或API。
典型的醫療成像系統可讓兩組不同的使用者存取影像:診斷使用者/放射科醫師、或是訂購造影的臨床工作者或醫師。
放射科醫師通常會使用高階且具備圖形功能的診斷檢視器、這些診斷檢視器會在實體或虛擬桌面基礎架構的一部分高階運算和圖形工作站上執行。如果您即將開始虛擬桌面基礎架構之旅,請參閱更多資訊 "請按這裡"。
當颶風卡崔娜摧毀了路易斯安那州的兩家主要教學醫院時、領導廠商聚在一起、打造了彈性的電子健康記錄系統、以記錄時間將超過3000個虛擬桌面納入其中。如需使用案例參考架構和FlexPod 參考資料套裝組合的詳細資訊、請參閱 "請按這裡"。
臨床醫師以兩種主要方式存取映像:
-
*網路型存取。*通常由EHR系統用來將PACS影像內嵌為病患電子病歷(EMR)的背景感知連結、以及可置入造影工作流程、程序工作流程、進度附註工作流程等的連結。網路型連結也可用於透過病患入口網站、提供病患的影像存取。網路型存取使用稱為內容感知連結的技術模式。內容感知連結可以是直接指向DICOM媒體的靜態連結/URI、也可以是使用自訂巨集動態產生的連結/URI。
-
*複雜用戶端。*某些企業醫療系統也可讓您使用複雜用戶端型方法來檢視映像。您可以從病患的EMR或獨立應用程式中啟動複雜用戶端。
醫療成像系統可讓醫師社群或參與CIN-參與 的醫師進行影像存取。典型的醫療成像系統包含可與醫療機構內外其他醫療IT系統進行映像互通的元件。社群醫師可以透過網路型應用程式存取映像、或是利用映像交換平台來實現映像互通性。映像交換平台通常使用WADO.或Dicom作為基礎映像交換傳輸協定。
醫療成像系統也能支援需要PACS或影像系統才能在教室中使用的學術醫療中心。為了支援學術活動、典型的醫療影像系統可在較小的空間或教學專用影像環境中、擁有PACS系統的功能。典型的廠商中立歸檔系統和部分企業級醫療成像系統提供了Dicom影像標記轉換功能、可將用於教學目的的影像匿名化。標記轉換功能可讓醫療機構以廠商中立的方式、在不同廠商的醫療成像系統之間交換DICOM影像。此外、標記形態功能可讓醫療影像系統針對醫療影像實作全企業、廠商中立的歸檔功能。
醫療成像系統開始使用 "GPU型運算能力"、藉由預先處理影像來強化人類工作流程、進而提升效率。典型的企業醫療影像系統可利用領先業界的NetApp儲存效率功能。企業醫療影像系統通常會使用RMAN進行備份、還原和還原活動。為了提升效能並縮短建立備份所需的時間、Snapshot技術可用於備份作業、SnapMirror技術可用於複寫。
下圖顯示分層架構檢視中的邏輯應用程式元件。
下圖顯示實體應用程式元件。
邏輯應用程式元件需要基礎架構支援多種傳輸協定和檔案系統。NetApp ONTAP 支援領先業界的傳輸協定與檔案系統組合。
下表列出應用程式元件、儲存傳輸協定及檔案系統需求。
應用程式元件 | SAN/NAS | 檔案系統類型 | 儲存層 | 複寫類型 |
---|---|---|---|---|
VMware主機產品資料庫 |
本機 |
SAN |
VMFS |
第1層 |
應用程式 |
VMware主機產品資料庫 |
重複 |
SAN |
VMFS |
第1層 |
應用程式 |
VMware主機Prod應用程式 |
本機 |
SAN |
VMFS |
第1層 |
應用程式 |
VMware主機Prod應用程式 |
重複 |
SAN |
VMFS |
第1層 |
應用程式 |
核心資料庫伺服器 |
SAN |
ext4 |
第1層 |
應用程式 |
備份資料庫伺服器 |
SAN |
ext4 |
第1層 |
無 |
映像快取伺服器 |
NAS |
SMB/CIFS |
第1層 |
無 |
保存檔伺服器 |
NAS |
SMB/CIFS |
第2層 |
應用程式 |
Web伺服器 |
NAS |
SMB/CIFS |
第1層 |
無 |
WADO.伺服器 |
SAN |
NFS |
第1層 |
應用程式 |
商業智慧伺服器 |
SAN |
NTFS |
第1層 |
應用程式 |
商業智慧備份 |
SAN |
NTFS |
第1層 |
應用程式 |
互通性伺服器 |
SAN |
ext4 |
第1層 |
應用程式 |
互通性資料庫伺服器 |