閱片機器人性能增8倍,幫電網係統大省錢,從兩個案例睇英特爾加速AI推理細節

原標題:閱片機器人性能增8倍,幫電網係統大省錢,從兩個案例看英特爾加速AI推理細節

智東西(公眾號: zhidxcom)

文 | 心緣

智東西7月13日消息,英特爾AIDC開發者大會於本周四喺深圳舉行,喺上午場中,英特爾展示圍繞硬件、軟件同生態活動嘅AI產品陣列。(英特爾AIDC秀肌肉:展示AI軟硬件+生態全景圖)

下午場更加側重於實操演示同案例分享,兩家英特爾人工智能構建者計劃嘅成員健培科技同賽特斯分別分享la佢哋喺醫療影像分析、電網同交通領域同英特爾之間嘅合作細節。

健培科技從事醫療影像分析,喺基層醫療同體檢等方麵有好多部署。賽特斯係軟件定義通信解決方案供應商,目前主要把AI應用喺國網防觸電以及海事監測等方麵。

期間,智東西同少數媒體對健培科技董事長程國華、賽特斯信息科技方案架構師蔡旭陽進行深入交流,具體la解英特爾軟硬件產品點樣樣幫佢哋實現AI推理性能嘅提升,並透露la下一步合作嘅優化方向。

一、健培閱片 機器人:準確率比肩放射科醫生

據健培科技董事長程國華介紹,醫學影像貫穿整個診療過程,占據中國80%嘅醫療數據均為影像數據。對於多數醫院來說,影像數據存儲成本大、負擔重,計算難題迫切需要解決。

作為國內智慧醫療解決方案嘅先行者,健培早早提出一種“1個加速器+1個網絡+1個啄醫生”嘅方案,並提供金融級四級安全防護。

由於AI推理喺醫療成像方麵嘅應用十分複雜,需克服數據多樣化、深度分析、複雜標記等問題,同埋需支持3D甚至4D深度神經網絡架構,高度依賴平台內存。

健培科技打造嘅“啄醫生”閱片機器人,采用高級AI算法同深度學習技術進行構建,能對醫學影像疾病進行定性、定量嘅智能診斷,可應用到臨床決策係統中,縮短放射科醫生完成診斷嘅時間。

早喺2016年,這款閱片機器人就喺國際首次醫療影像機器人同放射科醫生嘅“人機大戰”中,就取得la1:1嘅戰績,同埋效率遠高於人工。

展開全文

據悉,健培科技已有超過200家醫院客戶使用其閱片機器人,每家客戶平均每天可診斷80個病曆,每天提供嘅肺結核篩查超過2萬例。

身為智慧醫療嘅老兵,程國華也談到他對醫療行業對算力需求嘅變化。過去醫療平台更多依賴於雲端,現喺基層醫療機構需求越來越大,低成本、可快速部署嘅邊緣計算成為一種趨勢。

二、英特爾助力圖像分析性能提升 8 倍

喺同英特爾合作前,健培也喺其他平台中做個測試,但或多或少經曆各種唔適配嘅問題。

例如,此前閱片機器人準備上央視節目時,健培原本設計la16塊GPU方案,但要買到這麼多GPU至少需要2個月,而央視節目嘅排期已經臨近,這使得健培必須尋找另一種解決方案。

喺嚐試應用嘅過程中,健培陸續發現其他方案存喺各種食力嘅情況,佢哋往往唔得唔放棄一些其他性能,來滿足對速度嘅需求。而英特爾處理器384GB嘅超高內存,完全能滿足佢哋對高通量、3D計算嘅要求。

為la用更好嘅支撐醫學影像大數據,加速支持AI嘅成像分析同診斷,健培科技將閱片機器人遷移至英特爾可擴展處理器。

考慮到醫療數據對安全性嘅高要求,英特爾直接將服務器集成到健培嘅測試環境,完全唔通過雲端,嚴格保證數據嘅私密性。

硬件方麵,“啄醫生”閱片機器人采用英特爾至強金牌6140處理器。

軟件方麵,啄醫生借助英特爾優化版TensorFlow以及英特爾MKL-DNN加速庫,大幅提高診斷效率同準確性,同硬件搭配使用。

英特爾對TensorFlow做la5000多項優化,當前這一代指令集支持AVX512,而最新一代Cascade Lake嘅指令集名稱變作AVX512-VNNI,指令集進一步擴充,增加la可變式神經網絡指令集。

現喺用一個可變嘅VNNI,隻需一條命令就能執行以往3條命令才能執行嘅任務,從最底層帶來運算速度嘅提升。

如圖,經雙方合作,醫學數字成像同通信(DICOM)圖像分析性能提升8倍,醫療分割分析領域性能提升6倍。

這得益於英特爾針對算法做嘅優化。

起初,英特爾同健培基於語義分割模型UNet做配置優化,它嘅準確度得到一定提升,但當佢哋試圖用一些唔同嘅方法,比如增加內存、改變框架嘅參數時,增幅並唔明顯。

第二次試驗時,佢哋轉變思路,選擇以卷積神經網絡(Faster R-CNN)作為突破口,英特爾嘅優化版TensorFlow完全支持Faster R-CNN,優化結果明顯提升,準確度達90%。

今年,英特爾同健培新一輪合作嘅升級首先體現喺硬件層麵,去年嘅合作時采用嘅係第一代至強可擴展處理器黃金版6140,今年嘅將更上一層樓,使用第二代至強可擴展處理器鉑金版8260,,用以打造新一代啄醫生閱片機器人。

另外,程國華透露,希望同英特爾展開更多軟件層麵嘅合作,比如考慮引入OpenVINO工具包。

三、賽特斯智能電網同交通係統:成熟應用已落地

OpenVINO工具包帶來嘅AI推理提升,喺賽特斯科技嘅AI應用中得到la具體嘅展示。賽特斯同英特爾嘅合作嘅AI應用具體喺電網同交通領域,並已有成熟應用落地。

喺電網領域,湖畔釣魚者觸電事件頻發,而警示牌往往起唔到作用。據介紹,根據有關資料嘅統計,每年因為釣魚觸電引發事故有100多起,約占總觸電事故嘅1/3。

據賽特斯信息科技方案架構師蔡旭陽介紹,為la減少此類事件發生,賽特斯打造電網釣魚監控係統。這一係統自今年4月份喺某市級部署至今,已處理280多起事件,迄今未發生過觸電事件。

喺交通領域,船舶流量趨於飽同,為la減輕海事值班人員工作量,有效提升船舶統計嘅準確性,賽特斯同某國家海事局共同研發la海事智能船舶統計係統。

該係統主要實現三類功能,一係分江麵上下行自動統計過往船舶數量,二係船舶行為規範性統計,三係危化品船舶全航程跟蹤檢測。另外,係統還提供檢測視頻質量嘅運維功能,能實現喺無需人工幹預嘅情況下全天候運行。

這兩個係統嘅基本構成同處理流程相似,都係由前端智能攝像頭、中心分析平台、桌麵及移動顯示端同聲光報警設備組成。

首先喺邊緣設備端做圖像預處理,然後用深度學習算法進行目標檢測,喺檢測到目標後,將圖像通過網絡下發到中心分析平台,平台借助深度學習算法對目標進行細致檢測、跟蹤同軌跡分析,判斷係否人或船係否存喺違規行為。

四、基於英特爾OpenVINO嘅三大優化

英特爾對賽特斯智能係統嘅優化主要體現喺三個方麵:智能攝像頭、雲邊協同同算法優化。

經過優化嘅係統,其計算速度、目標識別準確度均較此前方法有大幅提升。深度學習目標檢測嘅計算速度較通用版本提升la26.1倍。

另據透露,英特爾同賽特斯計劃下一步將著重找選擇更合適嘅嘅拓撲網絡,前提係喺英特爾優化版Caffe上支持,同時OpenVINO引入INT8技術,喺保證唔丟失精度嘅情況下提升整體性能。

1、硬件優化:智能攝像頭

賽特斯嘅係統經過la三次迭代。

第一代方案采用非智能攝像頭,這種方案嘅設備成本好低,但這意味著所有視頻數據都要送到中心分析平台去處理,對網絡傳輸要求十分高,同時會消耗大量平台計算力,對中心服務器壓力十分大。

第二代方案改用帶有GPU嘅前端智能攝像頭,這一方案將速度大大提升,但同時也造成成本大幅上漲,一個攝像頭嘅成本就超過la8000元。

喺第三代方案中,賽特斯嘅係統采用英特爾架構前端智能攝像頭,並借助英特爾OpenVINO工具包進行優化,有效節省la攝像頭嘅采購成本,一個攝像頭嘅成本僅為兩三千元。

同時使用智能算法分布式部署嘅方案,降低對網絡傳輸依賴,減輕la中心分析平台嘅計算壓力。

以前一個服務器隻能檢測8路視頻,現喺一個服務器可以檢測20甚至30路視頻。100路視頻原先需要部署二三十個中心服務器,現喺隻需部署5個中心服務器,一個中心服務器嘅價格約喺5-6萬元,節省10個中心服務器就省la約50-60萬元。咁樣以來,好多服務器硬件嘅采購成本得以節省。

新方案喺檢測速度上也有提升,第二代GPU方案嘅處理速度為每秒9幀,而第三代方案將速度提升為每秒12幀,將比第二代方案采用GPU嘅檢測速度提升1.4倍。

2、部署方案優化:雲邊協同

過去,賽特斯將硬件加速資源都集中部署喺中心分析平台嘅服務器,而現喺采用邊緣智能設備+中心服務器嘅“雲邊協同”方式。

雲邊協同受限於邊緣計算本身,通常麵臨邊緣設備算力有限、速度慢嘅問題,以及邊緣設備硬件平台同軟件係統唔統一嘅問題。

英特爾OpenVINO恰恰可以有效解決異構難題。OpenVINO僅需一次開發就能進行所有英特爾架構平台嘅部署,可以使用英特爾嘅CPU、GPU、VPU、FPGA等各種硬件加速嘅加速資源,針對唔同硬件端,提供唔同加載,增加整個深度學習模型嘅泛用性。

同時,OpenVINO為深度學習算法推理性能也帶來提升,並且執行過程中支持異構處理同異步執行,能減少由於係統資源等待占用嘅時間。

3、算法優化:性能提升

英特爾OpenVINO使用經優化後嘅OpenCV同OpenVX,同時提供好多應用示例,可以有效縮短開發時間。

這些庫都支持異構嘅執行,編寫一次後即可通過異構嘅接口支撐跑喺其他嘅硬件平台上。

蔡旭陽表示,經英特爾OpenVINO優化後嘅算法,比以往喺GPU上算法嘅精度也有所提升。

總結:邊緣計算成新風口

從健培同賽特斯嘅案例中,我們看到英特爾通過人工智能創建者項目,為企業同開發者提供軟硬件技術支持,幫助佢哋快速實現產品落地,並帶來性能同速度嘅倍增。

同此同時,我們也可以看到邊緣計算正成為英特爾AI戰略中極為重要嘅一步棋。

隨著邊緣側設備數量猛增,對網絡通信、時延、數據安全同雲端成本都造成la更大嘅壓力,一種產品打天下已經唔現實la,更多需求正喺轉移至邊緣側,需要更多輕量級、低功耗、便於移動嘅硬件產品。這係英特爾等老牌芯片公司都喺麵臨嘅挑戰。

喺咁樣嘅背景下,英特爾也從以至強處理器為主打,轉為提供端到端嘅全棧式AI解決方案,唔僅推出新型類腦芯片、FPGA等更為多樣化嘅硬件產品陣列,同時輔以適配嘅軟件平台進行協同優化,從而應對越來越複雜多變嘅深度應用場景,幫助企業以更大程度滿足性能需求、同時更節約經濟成本嘅方式,實現智能化升級。

search更多:手機數碼電腦
at手機數碼電腦相關網站

發表於 分類 科技