省電/高效/互連/神經網路技術合一　下一代SoC加速智慧家庭發展

20世紀60年代的電視連續劇《傑特遜一家》(The Jetsons)描繪了早期智慧家庭的場景，機器人管家Rosie、影像聊天、按下按鈕就可以製作食物。

未來智慧家庭

五十年後人們將會實現真正的智慧家庭，一步步體現無縫連結的空間，滿足所有需求將讓生活變得更加的輕鬆和健康。此外，碳排放量會大大減少，而這也是未來的一種生活方式。如今技術創新呈現爆炸式增長，尤其是AI技術，這會讓更多的公司為未來的智慧家庭提供越來越多的元素。

根據NPD組織2017年10月的一份報告指出，美國互聯網家庭擁有自動化家庭裝置的比例達到15%，高於2016年4月份的10%。根據NPD報告，各類型裝置成長強勁，其中安全和監控占據大部分的銷售比重，視覺化門禁和智慧照明等產品類型也在保持快速的成長(圖1)。

NPD報告還指出智慧無線音箱(例如Amazon Echo和Google Home)的銷售量在當年增加了三倍，在當時的調查報告中10%的美國互聯網家庭都擁有此類裝置。

推升智慧化極限　智慧家庭再創高峰

在此基礎上很多新型裝置上市，為家庭生活提供更高的效率。其中，機器人是最值得期待(也可能是最可怕的)的創新之一，雖然現在的數位化助理僅限於家中牆上那些有插座的地方，但是情況將會產生改變，例如Alexa的解決方案，它可以在家中進行一些操作甚至幫助家中成員洗衣服，類似Roomba的機器人協助清掃家裡的地面，機器人割草機雖然還沒有被廣大群眾所採用，但是已經在銷售了。根據Juniper Research在2018年的報告顯示像Roomba這樣的室內輔助機器人將推動消費機器人硬體收入從2018年估計的64億美元增長到2022年的近230億美元，增幅會超過250%。

智慧家庭也將很快會加入無所不在的語音和手勢控制，如今通過數位化助手聲音控制已經變得非常的廣泛，除了手勢控制，使用這項技術會更加的自然，為了更高效地工作，現在的手勢追蹤技術需要深度感測器和高性能的電腦，因此目前它並不適用於所有的裝置。但是在新軟體和更高效硬體的支援下，這種情況正在發生變化。今天人們購買的一些產品可以說明控制照明、打開電視、控制恆溫器等，所有這些操作只需要揮一揮手就可以，但是在未來希望這項技術能夠更加緊密地融入到生活環境，讓消費者與智慧家庭的互動更加自然。

透過無線VR和AR裝置更加身臨其境的互動娛樂體驗將融入到智慧家庭中來，現在的AR裝置能夠在真實場景上疊加很多虛擬的物件，隨著時間的發展，更高性能的圖形技術將使AR場景變得更加真實。

對於VR領域，當無線裝置具有和有線裝置相同的圖形處理能力時，真正的身臨其境的體驗才算到來。現在的一個缺點就是自由度(DoF)：現在的無線裝置自由度只有3DoF，而有線裝置自由度可以達到6DoF。不同之處在於追蹤用戶的位置，而不僅僅是使用者的目光所在位置，還需要追蹤使用者如何的移動，這是提供能否真實體驗的重要因素。這些挑戰都將逐一克服，預期未來將會看到無線裝置，整合了定位服務與更好的顯示品質，3D視角和更低的網路延遲，這些將會為使用者帶來虛擬世界中更加真實的體驗。

另一項令人興奮的發展就是跨裝置的個人化領域，無論是電視還是數位化助手，AI都能夠讓裝置識別不同的家庭成員並且提供個人化的服務，當使用者打開電視，電視就會識別出使用者身份，並且適當的調整設置(比如使用家長控制、最喜歡的節目等)。這種個人化服務也將出現在娛樂機器人上，目前已經有幾款機器人可以利用自動化、AI和電腦視覺技術來識別家庭成員。某些情況下還可以進行互動，包括模擬情緒變化。這些裝置的製造商正在提高和訓練它們的技能，隨著時間的發展將提供更多自然互動能力。

在這些裝置之間無處不在互連即將到來，正是這些互連功能才能讓智慧家庭提供有用的服務。這些裝置還將整合Wi-Fi、藍牙、5G以及定位服務，從而提供更好的使用體驗。

SoC設計要求

所有這些創新都將利用SoC元件，其整合的IP核包括CPU、GPU、神經網路加速器(NNA)和互連處理引擎。如果這些創新希望克服現在的局限性，並提供顯著的用戶體驗，那麼在設計IP核時要具備高性能、低功耗和面積(Performance、Power、Area, PPA)等優勢。

採用高度優化的IP核，SoC供應商生產的元件將具備更高的性能功耗比，OEM廠商也將可以為新市場生產具有新功能的產品，協力廠商開發者可以與OEM廠商展開合作開發更高級的演算法，從而實現產品的差異化。

節省功耗

對於電池供電的裝置而言電源效率是至關重要的，在需要充電之前要確保它能夠正常工作合理的時間。對於許多採用有線連接的產品要提供節能操作指南，對於需要戴在臉上的AR/VR裝置降低功耗也很重要(發熱的裝置會讓使用者體驗感受變差)。專門為低功耗操作而設計的IP要能夠輕鬆的整合到SoC級電源管理方案中，這樣會降低整體SoC的功耗，發熱降低從而延長電池的壽命。

高效GPU

對於未來智慧家庭中的很多娛樂設施來說，更加身臨其境真實的圖形技術將起到關鍵的作用。因為GPU的並行處理性能要強於CPU，適用於複雜的數學運算，因此現在的GPU也被用於一些沒有顯示螢幕的應用上。市面上可看到一些SoC整合了GPU，具有更高的計算性能，對於VR能夠提供即時的6DoF自由度運算；在AR應用中能夠實現在真實世界圖像上的精確疊加；NNA和GPU運算性能的結合更有利於AI和自然語言處理。對於這些應用，GPU必須能夠支援更大的資料格式、更寬的資料深度、更廣泛的動態範圍、更好的低照度性能、更快的反應時間以及更強大的功能。

對於整個系統的功耗，GPU無疑占據了大部分，通常SoC的功耗限制於3~3.5W，而GPU則占用了整個功耗的30~50%。為了改善GPU功耗問題，IP廠商也持續精進改善旗下GPU產品，如Imagination PowerVR Furian Series8XT GT8525 GPU在終端行動SoC(採用台積電10FF製程)中估計的運行速度為35fps/w，整體功耗則低於理想值1.5W。與上一代Series7XT相比，對於同樣的性能，GT8525的功耗降低了60%。這顯著提升了性能/功耗比值，使得終端使用者的產品具有更長的續航時間，尤其是在重負載情況下。

PowerVR GPU高效率的基礎是基於貼片的延遲渲染技術(TBDR)，GPU只渲染在螢幕上可見的最終物件元素；不會進行位置計算和繪製隱藏物件。這項技術確保了盡可能低的資料頻寬，並且降低了每幀資料需要處理的迴圈次數，從而實現了更高的性能效率和每幀最低的功耗，當然這只是PowerVR GPU這款產業最高效產品使用的諸多優化技術之一。

互連性

未來的智慧家庭要實現無所不在的互連，目前有很多標準提供支援，Wi-Fi在很多裝置上獲得了應用，比如802.11ac和11ax用於高頻寬的互連，對於低功耗、低頻寬的應用則仍然需要老版本的802.11n標準。但是因為Wi-Fi傳統上就是很占用功耗的，如果將其應用到電池驅動或節能裝置上，那麼就需要Imagination Ensigma低功耗互連引擎，其架構設計能最大限度的降低功耗，延遲電池的使用時間同時擴大通訊範圍。

Ensigma低功耗互連IP具有多個電源域用於不同的功能模組，其設置了睡眠控制器，控制每個電源域在最快的時間內供電，同時在不需要功耗時以最快的時間切斷電源。憑藉其優化的架構設計，Ensigma低功耗互連IP消耗的功耗大約是相同功能特性IP的一半左右，是非常有競爭力的解決方案，智慧家庭應用需要低成本、低功耗和強大的性能支援，因此這個方案是合適的選擇。

神經網路處理

神經網路加速器將為智慧家庭提供更多的個人化和加值功能。這些引擎支援自然語言處理、聲音識別技術、視覺處理演算法等。因為這些技術都需要整合到電池驅動的裝置中，因此智慧節省功耗是關鍵。Imagination推出的PowerVR 2NX NNA中使用了多項技術來優化功耗，對於每層資料處理和權重上提供靈活的位元深度(Bit-depth)支援，使得2NX能夠保持很高的推理精度，同時顯著地降低頻寬和功耗要求。在適當的情況下會從8位元精度降低到4位元精度，使得2NX只消耗三分之二的功率同時維持運算的精度。2NX同樣支援離線處理，使用本身整合的「智慧模組」節省聯網需要的頻寬，提升處理速度。憑藉最高的推理/毫瓦和最高的推理/mm2參數，它可以高效運行所有常見的神經網路，並且是唯一符合在行動/嵌入式裝置上部署神經網路應用要求的IP(圖2)。

合理價格

消費者只有負擔得起才會大量採用產品，不過遺憾的是智慧家庭應用仍然很昂貴，即使一些小型的應用例如網路電燈、智慧溫控器、智慧門鎖和窗戶鎖、智慧電源插座等產品的價格仍然不是很有吸引力。智慧家庭入門套件可能需要花費幾百美元，如果增加更多的感測器可能需要更多的費用，因此屋主往往會放棄擴大智慧家庭系統的計畫。

對於晶片設計來說最大成本就是矽片面積，對於整合了GPU、NNA和各種互連要求功能的產品來說，可以想像這會需要一個相當大小的矽片，但是消費產品的生命週期往往很短而且需要廣大消費者負擔得起。無論是設計高度整合的晶片還是裝置配套晶片，保持晶片面積最小化都會有效的降低成本，基於此，IP的結構設計將發揮關鍵的作用。

在全新PowerVR Series9XE/XM GPU產品中，打破了典型「低成本」GPU的限制，為圖形和GPU計算都提供了靈活性。要在減小的晶片面積和更低的功耗情況下實現這些功能，關鍵技術之一就是降低了GPU和幀緩存之間要求的頻寬，同時降低了幀緩存的大小。這對於要使用的DRAM數量、類型和速度有一定的影響，從而減小晶片面積。此外頻寬的降低也會降低圖形子系統的功耗(圖3)。

在一些裝置(比如行動手機)中GPU是必需的，可以使用9XE/9XM GPU來管理典型的視覺處理演算法，將神經網路處理轉移到PowerVR 2NX NNA來執行。因為PowerVR NNA和GPU的性能強度，這種結合可以很容易地在相同尺寸的矽片上來實現。

另一種節省系統成本的方法(尤其是需要互連功能時)是通過整合的方式。現在很多電子裝置實現互連功能是採用獨立的晶片，但是借助像Ensigma低功耗互連IP引擎，這些功能可以整合到SoC中來，從而節省BOM成本。因為智慧家庭中的互連標準眾多，因此管理多種標準並為將來的標準做好準備顯得非常的重要。Ensigma支持廣泛的互連標準，隨著通訊標準的發展，使用像Ensigma這樣的可配置解調引擎的裝置也可以通過韌體升級的方式進行，這會使得裝置的使用壽命更長，並且不需要經常進行昂貴的系統升級。

提升使用者體驗　標準化IP特性催油門

如果一款產品沒有用處或者功能不全面，那麼即使價格便宜、電池壽命更長也不會受到消費者的歡迎。產品開發者需要提供真正的價值以及令人信服的用戶體驗。IP是提供這些基礎性能和特性從而提升使用者體驗的關鍵。

對於VR和AR裝置來說，GPU提供的高性能計算可以用於影像處理(比如穩定化、校正、提升、人臉檢測和美化)、多媒體處理(比如即時穩定性、資訊提取和疊加)、電腦視覺(比如增強現實、邊緣和特徵檢測)和遊戲。這些GPU必須能夠支持更大的格式、更寬的位元深度、更廣泛的動態範圍、更好的低照度性能、更快的反應時間、更強大的功能等。PowerVR Furian架構設計旨在實現高效擴展到所需的更高性能，避免其他競爭方案中出現的性能密度問題。

未來的智慧家庭裝置將需要SoC實現當地語系化資料處理，並將資料轉發到雲端進行後續處理和資料聚合。在很多情況下，推理操作可以在雲端強大的硬體上進行，但是由於很多原因現在要將這部分轉移到終端裝置中來實現。快速回應是必須的，雲端伺服器由於延遲的問題因此在雲端運行神經網路是不現實的。將這部分轉移到本地終端裝置上來處理也消除了可能發生的安全問題，因為蜂巢式網路並不總是可用的，無論是3G、4G還是5G，因此專用的本地硬體將更加的可靠，並且提供更高的性能支援，關鍵是功耗大大的降低了。

隨著各種應用使用日益複雜的神經網路，製造商需要像PowerVR 2NX這樣專用的硬體解決方案，這樣才能夠提供具有競爭力的產品。2NX NNA代表了神經網路加速和性能的一個轉折點，圖片分類神經網路運行在單核的2NX上能夠實現2048MACs/cycle，每分鐘完成4,200張圖片的分類，這比市場上專用的NN處理解決方案性能要高得多，而不用消耗額外的功率和頻寬，根據計算需要2NX可以單獨使用或與其他處理器(CPU/GPU)組合使用。此外對於安卓和其他作業系統還可以選擇MMU單元，無需額外的矽片或複雜的軟體整合。

在互連性方面，考慮到現在多種智慧家庭標準，需要支援所有標準的互連引擎。未來智慧家庭閘道將很可能結合802.11ax、802.15.4(Zigbee、Thread)和藍牙等。此外一些運營商正在考慮在閘道中重新添加數位增強無線電信(DECT)功能來支援手機應用，因為運營商預計將退出傳統電話服務，轉而只提供寬頻服務。Ensigma具有獨特的多標準和可程式設計架構，為每種通訊方式和網路提供全面的解決方案，包括802.11a/b/g/n/ac(最多2×2 MIMO)、藍牙4.0(LE)、FM、DAB和其他幾種全球數位電視訊號解調標準。

視覺化技術帶來真正創新

為了實現真正智慧家庭這個願景，目前還有很多挑戰需要克服，比如複雜性、價格、互通性、易於實施等等。這些挑戰需要產業花費一定的時間來解決，當然也需要消費者花費一定的時間來接受並且歡迎這些技術進入家中。與此同時，未來將會繼續看到更加智慧的家庭裝置出現，讓人們的生活更加簡單輕鬆、互動更加豐富、娛樂方式更加身歷其境。

當消費者能夠負擔的起並且這些所需的技術能夠實現時，智慧家庭這個願景才算真正的實現。當智慧家庭開始匯聚所有互連裝置產生的資料時，系統會自動進行監控，作出正確的決定並且會在沒有消費者干預的情況下自主管理所有事情。

(本文作者為Imagination連接和互聯家庭部門總監)