基于GPU的TES探測(cè)器讀取系統(tǒng)信號(hào)處理技術(shù)研究

　　摘要 針對(duì)轉(zhuǎn)變邊緣傳感器(transition-edge sensor, TES)讀取系統(tǒng)(readoutsystem)的信號(hào)處理需求，基于圖形處理器(graphics processing unit，GPU)、通用并行計(jì)算架構(gòu)(compute unified device architecture，CUDA)等平臺(tái)進(jìn)行信號(hào)仿真處理技術(shù)研究。首次將聯(lián)合FPGA與GPU 的信號(hào)處理模式應(yīng)用于TES的信號(hào)讀取和處理中，簡(jiǎn)化了算法執(zhí)行的復(fù)雜度，并利用模擬信號(hào)，驗(yàn)證了該處理模式應(yīng)用于我國(guó)西藏阿里原初引力波探測(cè)實(shí)驗(yàn)的可行性。

　　關(guān)鍵詞 信號(hào)處理;GPU;FPGA;TES探測(cè)器;原初引力波;CMB

　　沈夢(mèng)萍; 段然; 張海燕; 張來(lái)宇; 馬曉耘; 劉飛; 李菂 北京師范大學(xué)學(xué)報(bào)(自然科學(xué)版) 2021-12-31

　　0 引 言

　　天文學(xué)上，引力波源大致分為兩種，一種是天體物理起源，比如激光干涉引力波天文臺(tái)(laser interferometer gravitational-wave observatory，LIGO)發(fā)現(xiàn)的雙黑洞合并和雙中子星合并的引力波事件，另一種引力波源則是宇宙學(xué)起源。宇宙學(xué)起源的引力波又稱為原初引力波，理論表明，探測(cè)原初引力波最好的方式是通過(guò)探測(cè)宇宙微波背景輻射 (cosmic microwave background, CMB)的 B 模式偏振[1]。目前為止，地面或空間實(shí)驗(yàn)還沒(méi)有觀測(cè)到原初引力波產(chǎn)生的 B 模式偏振。北天區(qū)存在著大面積的“低前景”區(qū)域，是天文學(xué)家尋找 B 模式偏振信號(hào)的重要窗口。我國(guó)的西藏阿里由于處于絕佳的地理位置，是目前已知北半球最佳的 CMB 觀測(cè)臺(tái)址。西藏阿里原初引力波探測(cè)實(shí)驗(yàn)將是北半球第一個(gè)地面 CMB 偏振觀測(cè)實(shí)驗(yàn)，將實(shí)現(xiàn)對(duì)北半球天區(qū)的 CMB 偏振信號(hào)的首次觀測(cè)，打開(kāi)北半球?qū)υ跻Σㄌ綔y(cè)的新窗口，與南半球的宇宙河外偏振背景成像(background imagingof cosmic extragalactic polarization，BICEP)項(xiàng)目結(jié)合，實(shí)現(xiàn)對(duì) CMB 偏振地面觀測(cè)的全天覆蓋[1]。

　　原初引力波望遠(yuǎn)鏡主要由轉(zhuǎn)變邊緣傳感器(transition-edge sensor, TES)、制冷箱、讀取系統(tǒng)等部分組成。TES 探測(cè)器是太赫茲探測(cè)器的一種，太赫茲波段占有宇宙微波背景輻射以后宇宙空間近一半的光子能量，該波段在天文學(xué)研究中具有不可替代的作用。太赫茲探測(cè)器主要分成相干探測(cè)器和非相干探測(cè)器兩大類[2][3]。隨著制備工藝和讀取技術(shù)的成熟，不需要本振源的連續(xù)譜探測(cè)器 ——轉(zhuǎn)變邊緣傳感器和動(dòng)態(tài)電感探測(cè)器(kinetic inductance detector，KID)近年來(lái)開(kāi)始占據(jù)主導(dǎo)地位。在低溫讀取方面，轉(zhuǎn)變邊緣傳感器早期以時(shí)分復(fù)用(time division multiplexing，TDM)為主，后來(lái)在頻分復(fù)用(frequency division multiplexing，F(xiàn)DM)方面與動(dòng)態(tài)電感探測(cè)器互相借鑒，由于具有復(fù)用系數(shù)更高的優(yōu)勢(shì)，在較大規(guī)模的探測(cè)器陣列中，已逐漸取代 TDM 技術(shù)。而在室溫讀取方面，則普遍采用現(xiàn)場(chǎng)可編程邏輯門陣列(field programmable gate array，F(xiàn)PGA)與數(shù)模轉(zhuǎn)換器(digital to analog converter，DAC)和模數(shù)轉(zhuǎn)換器(analog to digital converter， ADC)相結(jié)合的方式。

　　原初引力波信號(hào)極其微弱，探測(cè)原初引力波需要在滿足苛刻的噪聲、精度和穩(wěn)定性要求下讀取數(shù)萬(wàn)個(gè)轉(zhuǎn)變邊緣傳感器來(lái)達(dá)到靈敏度要求。阿里原初引力波項(xiàng)目將實(shí)現(xiàn) 4- 8GHz 帶寬下千量級(jí)復(fù)用比探測(cè)器陣，總計(jì)不低于 1 萬(wàn)個(gè) TES 探測(cè)器的讀取。而目前，我國(guó)沒(méi)有大規(guī)模 TES 探測(cè)器陣列讀取系統(tǒng)實(shí)際應(yīng)用案例。室溫電子學(xué)讀取系統(tǒng)是原初引力波望遠(yuǎn)鏡所必須的關(guān)鍵環(huán)節(jié)，也是我國(guó)自主研制的核心技術(shù)。TES 探測(cè)器讀取系統(tǒng)對(duì)于信號(hào)的接收與處理有實(shí)時(shí)性的要求，大規(guī)模的探測(cè)器陣列也意味著龐大的實(shí)時(shí)信號(hào)流，因此提高讀取系統(tǒng)的信號(hào)處理速度非常重要。本文研究將聯(lián)合 FPGA 與 GPU (graphics processing unit，GPU)的處理模式應(yīng)用于 TES 探測(cè)器讀取系統(tǒng)信號(hào)處理中，取代原先的僅用 FPGA 處理信號(hào)的模式，提升系統(tǒng)的實(shí)時(shí)信號(hào)處理速度與性能。當(dāng)前主流的室溫電子讀取技術(shù)是基于一種FPGA硬件——開(kāi)源可配置開(kāi)放架構(gòu)計(jì)算 硬 件 ( reconfigurable open architecture computing hardware，ROACH)——于 2010 年左右開(kāi)發(fā)的探測(cè)器開(kāi)源讀取系統(tǒng)(open source readout，OSR)。該技術(shù)最早在天文界為加州理工大學(xué)亞毫米波望遠(yuǎn)鏡(caltech submillimeter observatory，CSO)所使用，為 MUSIC ( multiwavelength sub/millimeter inductance camera)設(shè)備開(kāi)發(fā)了 ADC、DAC 和中頻電路系統(tǒng)與之配合[4]。

　　近些年，隨著 GPU 在工業(yè)界的高速發(fā)展，聯(lián)合 FPGA 與 GPU 的處理模式在射電天文實(shí)時(shí)終端領(lǐng)域得到了廣泛的應(yīng)用，然而在 TES 探測(cè)器的數(shù)字終端信號(hào)處理中 FPGA+GPU 的處理模式還未曾得到過(guò)嘗試。以往的 TES 探測(cè)器信號(hào)讀取處理系統(tǒng)對(duì)信號(hào)的處理均是基于 FPGA 進(jìn)行的，本文在原有的基于 FPGA 的 TES 探測(cè)器讀取系統(tǒng)信號(hào) 處 理 算 法 的 基 礎(chǔ) 上 ， 研 究 了 基 于 FPGA+GPU 的信號(hào)處理算法在 TES 探測(cè)器的信號(hào)讀取處理中的應(yīng)用。

　　1 基于 FPGA 的 TES 探測(cè)器讀取系統(tǒng)信號(hào)處理流程

　　本節(jié)介紹基于 FPGA 的 TES 探測(cè)器讀取電子學(xué)系統(tǒng)的常規(guī)信號(hào)處理流程[5]。基于 FPGA 的 TES 探測(cè)器讀取系統(tǒng)中，信號(hào)產(chǎn)生、接收與處理流程如圖 1 所示。圖 1 中左側(cè)流程基于 FPGA，在 FPGA 上對(duì)信號(hào)進(jìn)行處理，右 側(cè) 為 信 號(hào) 探 測(cè) 模 塊 ， 其 中 SQUID ( superconducting quantum interference device，SQUID)為超導(dǎo)量子干涉儀，是一種極靈敏的磁通傳感器，可以檢測(cè)任意能轉(zhuǎn)換成磁通的極端微弱信號(hào)，ADC 和 DAC 連接信號(hào)探測(cè)模塊和信號(hào)處理模塊。

　　區(qū)別于傳統(tǒng)射電望遠(yuǎn)鏡電子學(xué)系統(tǒng)，例如中國(guó)天眼 FAST——只接收饋源數(shù)據(jù)，原初引力波室溫電子學(xué)系統(tǒng)需要對(duì)探測(cè)器陣同時(shí)進(jìn)行激勵(lì)與接收，形成一個(gè)閉環(huán)，并且，不是直接探測(cè)偏振信號(hào)，而是探測(cè) CMB 的 B 模式偏振對(duì)閉環(huán)電路的相位信號(hào)的影響。實(shí)際工作中，信號(hào)按照多個(gè)通道合成，經(jīng)過(guò) DAC 后，輸出一個(gè)由多個(gè)頻率合成的信號(hào)。該信號(hào)產(chǎn)生 I 路和 Q 路兩路信號(hào)，兩路信號(hào)經(jīng)過(guò)信號(hào)探測(cè)模塊(圖 1 中右側(cè)模塊)后由 ADC 進(jìn)行接收，ADC 接收完信號(hào)后傳輸?shù)?FPGA 上進(jìn)行相應(yīng)的信號(hào)處理。由 DAC 輸出的信號(hào)的相位是一個(gè)固定值，鋸齒波Flux Ramp 對(duì)信號(hào)的相位進(jìn)行調(diào)制，作用到信號(hào)上便是信號(hào)的相位呈周期變化，當(dāng) TES 探測(cè)器探測(cè)到 CMB 偏振信號(hào)時(shí)，光子入射導(dǎo)致 TES 電路中磁通發(fā)生變化，該變化由 SQUID 探測(cè)到并最終傳遞到由 DAC 發(fā)出的頻率合成信號(hào)上，致使合成信號(hào)的相位信號(hào)發(fā)生抖動(dòng)[5]。通過(guò)在特定周期內(nèi)對(duì)相位信號(hào)進(jìn)行積分，分析該積分值是否發(fā)生變化來(lái)判斷相位信號(hào)是否發(fā)生抖動(dòng)。

　　圖 1 左側(cè)展示了 I、Q 兩路信號(hào)傳輸?shù)?FPGA 后的處理過(guò)程。信號(hào)進(jìn)入 FPGA 后，先經(jīng)過(guò)多相濾波器組(polyphase filter bank, PFB)進(jìn)行濾波和 512 點(diǎn)的快速傅里葉變換(fast fourier transform，F(xiàn)FT)處理，實(shí)現(xiàn)通道化，隨后進(jìn)行通道選擇(選頻)，圖中所示流程選取了多個(gè)頻率中的若干個(gè)頻率通道。 I、Q 兩路信號(hào)分別位于復(fù)平面上的實(shí)部和虛部，在進(jìn)行進(jìn)一步的濾波處理后，求解信號(hào)的相位信息。信號(hào)進(jìn)行濾波處理后，在復(fù)平面上得到一段諧振弧，對(duì)諧振弧進(jìn)行擬合求出圓和圓心，由于 FPGA 本身的特性不適合進(jìn)行非線性運(yùn)算，不能直接由擬合得到的圓和圓心得到相位信息。因此，先對(duì)圓心進(jìn)行坐標(biāo)平移，使圓心與坐標(biāo)原點(diǎn)重合，再進(jìn)行坐標(biāo)轉(zhuǎn)換，使軌跡的起始點(diǎn)位于 x 軸上，隨后 FPGA 才可以直接通過(guò)除法運(yùn)算求解出相位。經(jīng)過(guò)求相位處理后，求解出的相位信息θ是一個(gè)隨時(shí)間進(jìn)行周期性變化的正弦信號(hào)。對(duì)求解出的相位信號(hào)進(jìn)行鋸齒波解調(diào)和特定周期長(zhǎng)度的積分處理后將會(huì)得到一個(gè)具體的數(shù)值，該值會(huì)一直保持不變，直到 TES 探測(cè)器探測(cè)到信號(hào)時(shí)該值發(fā)生變化。

　　由于 TES 探測(cè)器探測(cè)到的信號(hào)改變的是讀取信號(hào)的相位信息，因此我們認(rèn)為，探測(cè)到宇宙微波背景輻射的 B 模式偏振信息蘊(yùn)含在讀取信號(hào)相位的變化之中，從讀取信號(hào)中解調(diào)出特定頻率(選頻)的相位信息(相位計(jì)算)是 TES 探測(cè)器原初引力波室溫讀取信號(hào)處理技術(shù)研究中的重要一步，是后續(xù)進(jìn)行鋸齒波解調(diào)與積分處理從而得到宇宙微波背景輻射 B 模式偏振信號(hào)的前提。本文在FPGA的室溫讀取系統(tǒng)信號(hào)處理算法的基礎(chǔ)上，研究基于 FPGA+GPU 的信號(hào)處理算法在 TES 探測(cè)器的室溫信號(hào)讀取處理中的可行性，研究在 GPU 中進(jìn)行快速傅里葉變換、選頻和相位計(jì)算的過(guò)程。

　　2 基于 FPGA 與 GPU 的 TES 探測(cè)器室溫讀取系統(tǒng)信號(hào)處理流程

　　上一章基于 FPGA 的 TES 探測(cè)器室溫讀取系統(tǒng)信號(hào)處理流程中，由于 FPGA 本身特性的限制、以及算法的復(fù)雜度的原因，求解相位信息步驟復(fù)雜，執(zhí)行效率較低。借助 GPU 出色的并行處理能力和靈活的數(shù)學(xué)處理能力，對(duì)原本復(fù)雜的數(shù)據(jù)處理流程進(jìn)行優(yōu)化，極大地簡(jiǎn)化了算法的步驟和復(fù)雜度，提高計(jì)算效率。近些年，聯(lián)合 FPGA 與 GPU 的處理模式在射電天文終端領(lǐng)域得到了廣泛的應(yīng)用，但在 TES 探測(cè)器的終端信號(hào)處理中還未曾得到過(guò)嘗試。本文將部分FPGA的信號(hào)處理流程置于 GPU 上進(jìn)行處理，進(jìn)而研究聯(lián)合 FPGA 與 GPU 的信號(hào)處理模式在 TES 探測(cè)器室溫讀取信號(hào)處理中的可行性，為西藏阿里原初引力波探測(cè)項(xiàng)目大規(guī)模 TES 陣列讀取系統(tǒng)打下研究基礎(chǔ)。

　　基于 FPGA 與 GPU 的 TES 探測(cè)器室溫讀取系統(tǒng)信號(hào)處理流程如圖 2 所示，左側(cè)為基于 FPGA+GPU 的數(shù)據(jù)處理流程，右側(cè)與圖 1 一樣，均為信號(hào)探測(cè)模塊。左側(cè)流程圖中，ADC 和 FPGA 對(duì)信號(hào)進(jìn)行數(shù)字化處理，隨后發(fā)出 UDP 數(shù)據(jù)包，進(jìn)行數(shù)據(jù)預(yù)處理后，將數(shù)據(jù)從 CPU 傳輸?shù)?GPU 中進(jìn)行快速傅里葉變換和相位計(jì)算 ArcTan(灰底部分)，最后對(duì)數(shù)據(jù)進(jìn)行選頻 Bin Selection(灰底部分)操作。通 用 并 行 計(jì) 算 架 構(gòu) 平 臺(tái) (compute unified device architecture，CUDA)[6]提供了通 用 并 行 計(jì) 算 架 構(gòu) 快 速 傅 里 葉 變 換 庫(kù) cuFFT[7]，極大地提高了 GPU 進(jìn)行快速傅里葉變換的能力，因?yàn)?GPU 強(qiáng)大的計(jì)算能力，相比 FPGA 更適合進(jìn)行非線性運(yùn)算，原本在 FPGA 中求相位處理需要先進(jìn)行較為復(fù)雜的坐標(biāo)轉(zhuǎn)換與坐標(biāo)平移步驟均可省略，使得整個(gè)流程得到簡(jiǎn)化與優(yōu)化。

　　2.1 信號(hào)產(chǎn)生

　　整套系統(tǒng)中，DAC 工作頻率 4.096 GHz，循環(huán)讀取FPGA上的數(shù)字序列存儲(chǔ)模塊上的數(shù)字序列，我們將該模塊稱為查找表(lookup table，LUT)，將該數(shù)字序列稱為 Buffer。 ADC 采樣頻率為 512 MHz，讀取由 DAC 發(fā)出的模擬信號(hào)，并封裝成 UDP 包。Buffer 長(zhǎng)度為 2 19，由如下公式產(chǎn)生：