摘要

量子神經(jīng)網(wǎng)絡(luò)（Quantum Neural Networks，QNN）已經(jīng)提出了幾種架構(gòu)，目的是在量子數(shù)據(jù)上有效地執(zhí)行機(jī)器學(xué)習(xí)任務(wù)。對于特定的量子神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，迫切需要嚴(yán)格的擴(kuò)展結(jié)果，以了解哪些結(jié)構(gòu)是可以大規(guī)模訓(xùn)練的。在這里，研究人員分析了最近提出的一種架構(gòu)的梯度擴(kuò)展（以及可訓(xùn)練性），稱之為耗散量子神經(jīng)網(wǎng)絡(luò)（dissipative QNN，DQNN），其中每一層的輸入量子比特在該層的輸出被丟棄。研究人員發(fā)現(xiàn)，DQNN可以表現(xiàn)出貧瘠高原，即梯度隨量子比特的數(shù)量呈指數(shù)級消失。此外，研究人員提供了不同條件下DQNN梯度擴(kuò)展的定量界限，如不同的損失函數(shù)和電路深度，并表明可訓(xùn)練性并不總是得到保證。這項(xiàng)工作代表了第一個基于感知器的QNN（perceptron-based QNN）可擴(kuò)展性的嚴(yán)格分析。

研究領(lǐng)域：量子神經(jīng)網(wǎng)絡(luò)，機(jī)器學(xué)習(xí)

論文題目：

Trainability of Dissipative Perceptron-Based Quantum Neural Networks

論文鏈接：

https://journals.aps.org/prl/abstract/10.1103/PhysRevLett.128.180505

1

神經(jīng)網(wǎng)絡(luò)（neural network，NN）已經(jīng)影響了許多領(lǐng)域，如神經(jīng)科學(xué)、工程、計算機(jī)科學(xué)、化學(xué)和物理學(xué)。然而，由于嚴(yán)重的技術(shù)挑戰(zhàn)，它們的歷史發(fā)展在進(jìn)步期與停滯期之間徘徊。感知器很早就作為一種人工神經(jīng)元被引入，但后來才意識到多層感知器比單層感知器有更大的能力。但仍然存在著如何訓(xùn)練多層感知器的主要問題，這一點(diǎn)最終由反向傳播法解決。

在神經(jīng)網(wǎng)絡(luò)的成功和 NISQ（Noisy Intermediate-Scale Quantum）設(shè)備出現(xiàn)的激勵下，人們一直在努力開發(fā)量子神經(jīng)網(wǎng)絡(luò)（Quantum Neural Network，QNN），希望量子神經(jīng)網(wǎng)絡(luò)能夠利用量子計算機(jī)的力量，在機(jī)器學(xué)習(xí)任務(wù)上勝過經(jīng)典計算機(jī)，特別是對于量子數(shù)據(jù)或本質(zhì)上屬于量子的任務(wù)。

盡管有幾個QNN方案已經(jīng)成功實(shí)施，但仍需對特定架構(gòu)的優(yōu)勢和局限性進(jìn)行更多研究。深入研究QNN的潛在可擴(kuò)展性問題可以幫助防止這些模型出現(xiàn)“冬天”，就像歷史上經(jīng)典神經(jīng)網(wǎng)絡(luò)的情況一樣。這推動了最近研究QNN中梯度擴(kuò)展的工作。該研究表明，旨在訓(xùn)練QNN完成特定任務(wù)的變分量子算法，可能表現(xiàn)出梯度隨系統(tǒng)大小呈指數(shù)性消失。這種所謂的“貧瘠高原現(xiàn)象”，被證明適用于硬件高效的QNN，其中量子門被安排在與量子設(shè)備的連接相匹配的塊狀結(jié)構(gòu)中。

在這里，研究人員考慮一類不同的QNN，稱之為耗散量子神經(jīng)網(wǎng)絡(luò)（Dissipative Neural Network，DQNN）。在DQNN中，網(wǎng)絡(luò)中的每個節(jié)點(diǎn)都對應(yīng)于一個量子比特，而網(wǎng)絡(luò)中的連接由量子感知器模擬。耗散指的是輔助量子比特構(gòu)成輸出層，而輸入層的量子比特被丟棄的事實(shí)。這種架構(gòu)最近受到了極大的關(guān)注，并被提議作為QNN的一種可擴(kuò)展的方法。

圖：基于耗散感知器的量子神經(jīng)網(wǎng)絡(luò)（DQNN）的示意圖。

頂部：DQNN由輸入層、隱藏層和輸出層組成。網(wǎng)絡(luò)中的每個節(jié)點(diǎn)都對應(yīng)于一個量子比特，它可以通過感知器（以線表示）連接到相鄰層的量子比特。DQNN的輸入和輸出是量子狀態(tài)，分別記為ρin和ρout。第l層的第j個量子比特表示為qjl。每個感知器對應(yīng)于它所連接的量子位上的一個單元操作，Vjl表示第l層的第j個感知器。

2

研究人員首先證明，DQNN的可訓(xùn)練性并不總是有保證的，因?yàn)樗鼈冊趽p失函數(shù)中可能表現(xiàn)出貧瘠高原現(xiàn)象。這種貧瘠高原的存在與感知器和損失函數(shù)的局部性有關(guān)。具體而言，研究人員證明：(1)具有深度全局感知器的DQNN是不可訓(xùn)練的，盡管該結(jié)構(gòu)具有耗散性；(2)對于淺層和局部感知器，采用全局損失函數(shù)會導(dǎo)致貧瘠高原現(xiàn)象，而采用局部損失函數(shù)則可以避免該現(xiàn)象。

此外，研究人員還為DQNN提供了一種特定的體系結(jié)構(gòu)，該體系結(jié)構(gòu)具有局部淺層感知器，可以精確地映射到分層硬件高效的QNN。這一結(jié)果不僅表明DQNN與硬件效率高的QNN一樣具有可表達(dá)性，而且還允許研究人員為這些DQNN提供可訓(xùn)練性保證。在這種情況下，由于感知器是局部的，每個神經(jīng)元只從前一層的少量量子比特接收信息。這種結(jié)構(gòu)讓人想起經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)，眾所周知，卷積神經(jīng)網(wǎng)絡(luò)可以避免完全連接網(wǎng)絡(luò)的一些可訓(xùn)練性問題。

3

這些結(jié)果表明，要理解QNN的可訓(xùn)練性，并確保它們實(shí)際上比經(jīng)典神經(jīng)網(wǎng)絡(luò)具有優(yōu)勢，還有很多工作要做。例如，有趣的未來研究方向是QNN特定的優(yōu)化器，分析QNN對噪聲的容錯性，以及防止貧瘠高原現(xiàn)象的策略。此外，探索DQNN和硬件高效的QNN之外的體系結(jié)構(gòu)，尤其是如果此類體系結(jié)構(gòu)具有大規(guī)模可訓(xùn)練性，將是一個有意義的課題。

潘佳棟 | 作者

鄧一雪 | 編輯

商務(wù)合作及投稿轉(zhuǎn)載 [email protected]

搜索公眾號：集智俱樂部

加入“沒有圍墻的研究所”

讓蘋果砸得更猛烈些吧!