漸暴露出在鼠標(biāo)、手勢、語音等輸入上的缺陷，這就使得人手一臺的手機或Pad來操控電視成為一種可能，同時利用三屏互動技術(shù)還是可以實現(xiàn)電視、手機、Pad上面的內(nèi)容共享，實時傳輸?shù)裙δ堋９臼袌稣{(diào)查表明，三屏互動技術(shù)的開發(fā)和實現(xiàn)已迫在眉睫，且對今后智能電視的開發(fā)起著重要作用。

一、涉及的關(guān)鍵技術(shù)

三屏互動的制作過程中主要運用的網(wǎng)絡(luò)通信技術(shù)包括：IP多播技術(shù)、HTTPWebServer技術(shù)和Socket套接字技術(shù)。它們分別用于手機對電視的局域網(wǎng)內(nèi)檢索、將手機端媒體內(nèi)容甩屏給電視播放、進程間的消息通信。

虛擬驅(qū)動技術(shù)：用于在電視端模擬實現(xiàn)手機端發(fā)送過來的虛擬按鍵、鼠標(biāo)、傳感器消息；多媒體播放技術(shù)：用于在手機端和電視端分別播放手機端的多媒體文件；語音識別和合成技術(shù)：分別用于識別手機端的用戶錄音數(shù)據(jù)和合成電視端需要播報的文字內(nèi)容。

二、三屏互動總體設(shè)計

對于Android和Linux雙系統(tǒng)的智能電視來說，三屏互動的原理框圖如圖1所示，手機端負(fù)責(zé)檢索和連接電視，并將手機的虛擬按鍵、鼠標(biāo)、手勢、傳感器和語音數(shù)據(jù)發(fā)送給智能電視端的后臺控制服務(wù)（ControlService），并開啟一個HttpWebServer供智能電視端的Linux播放接口下載并播放手機SD卡內(nèi)的媒體文件。智能電視Android端主要負(fù)責(zé)接收手機端的消息，并分別處理或傳給Linux端的播放接口。智能電視Linux端主要負(fù)責(zé)接收和播放ControlService傳過來的媒體資源，并響應(yīng)虛擬驅(qū)動設(shè)備的消息映射。

三、手機端接口設(shè)計與實現(xiàn)

（一）檢索和連接部分

1．依據(jù)設(shè)計思想，采用IP多播技術(shù)進行手機對電視檢索的設(shè)計，然后再運用TCP單播建立電視與手機的一對一的可靠連接。手機端作為多播服務(wù)器端，首先發(fā)起檢索的多播請求，并等待電視回復(fù)平臺名和IP地址。

2．在手機端檢索到電視列表后，如果手機端用戶在電視IP列表點擊某一IP選項，主程序?qū)⒘黹_一個線程專門負(fù)責(zé)與該IP對應(yīng)的電視建立一對一的連接。當(dāng)然，這其中需要電視端先開啟連接的服務(wù)器端，然后在對應(yīng)端口監(jiān)聽來自手機端的連接請求。

（二）虛擬遙控部分

當(dāng)手機和電視建立連接后，手機端UI程序首先捕獲用戶按下Button消息，然后將它轉(zhuǎn)換為電視需要的按鍵消息，通過之前已經(jīng)建立好連接的socket發(fā)送給電視。

2．電視鼠標(biāo)的滑動和手勢的判斷都是手機端UI程序通過系統(tǒng)捕獲觸摸屏滑動數(shù)據(jù)來模擬鼠標(biāo)和手勢的移動的數(shù)據(jù)，然后將移動的數(shù)據(jù)（包括方向和距離）打包成滑動消息，通過socket發(fā)送給電視端。

3．將智能手機中自帶的重力傳感器產(chǎn)生的感應(yīng)數(shù)據(jù)傳給電視，來模擬一些Android游戲操作。

4．通過手機端錄入語音數(shù)據(jù)傳給電視的語音服務(wù)器來進行語音識別操作和控制。

（三）甩屏部分

手機甩屏部分主要實現(xiàn)手機文件的過濾和預(yù)覽，實現(xiàn)本地多媒體文件的播放，以及開啟一個Http的WebServer供電視端下載手機資源，最后就是將手機本地中的多媒體文件以url形式傳輸給電視。這個模塊是我們?nèi)粱又袑崿F(xiàn)資源共享的一個主要的功能。它可以將手機端的文件“甩”給電視，然后在電視上播放。

四、智能電視端接口設(shè)計與實現(xiàn)

（一）ControlService的設(shè)計

我們的智能電視中，ControlService處于電視Android端，作為一個服務(wù)運行在系統(tǒng)后臺，主要設(shè)計如下幾個功能：（1）在手機端發(fā)起多播檢索消息后，通過ControlService的UDP多播客戶端回應(yīng)消息給手機；（2）在檢索后，作為手機和電視通信的TCP服務(wù)器端，可以保證多個手機同時連接一臺電視；（3）將虛擬遙控、鼠標(biāo)和甩屏命令等處理組裝后發(fā)送給UserService服務(wù)線程；（4）將語音數(shù)據(jù)發(fā)送給語音服務(wù)器和接收識別結(jié)果，同時將結(jié)果反饋給AndroidUI處理。

（二）語音識別處理

目前國內(nèi)中文語音識別和合成最好的要數(shù)科大訊飛的語音引擎，該公司對于智能電視的語音識別庫有兩套方案。一種是打包在手機端程序，在手機端識別后發(fā)送文字到電視端；另外一種是在手機發(fā)送語音數(shù)據(jù)到電視，電視再轉(zhuǎn)發(fā)給云端語音服務(wù)器，由云端服務(wù)器來識別語音數(shù)據(jù)，再將處理結(jié)果反饋給電視端。目前我們就是采用后者的解決方案。

（三）虛擬按鍵在linux端的獲取

為了能在Linux主進程中接受虛擬按鍵消息，需要在Main函數(shù)中增加一個虛擬按鍵的讀取線程。

該線程主要工作流程如下：（1）獲取虛擬按鍵文件節(jié)點描述符；（2）阻塞讀取虛擬按鍵文件節(jié)點的按鍵數(shù)據(jù)；（3）映射按鍵碼；（4）發(fā)送按鍵映射碼給上層處理。

（四）UserService和播放接口設(shè)計

UserService主要用來在Linux端接收Android端ControlService的消息，以及調(diào)用底層接口去處理這些消息。其本質(zhì)是一個中間接口層。為了實現(xiàn)以上功能，我們最好在主進程中另開一個單獨的線程來接收消息。同時為了更加靈活的調(diào)用下層接口來處理接收的ControlService消息，可以采用注冊回調(diào)類的方式來實現(xiàn)。

由于三屏互動的接收甩屏消息大部分是一些播放消息，所以我們在回調(diào)類中主要需要實現(xiàn)的也就是play播放接口。播放接口定義如下：virtualvoidplay（constchar**url，constchar*type，intcount，constchar*index）url是手機端的WebServer服務(wù)器上的媒體文件地址，可能是多個媒體文件。在此函數(shù)中調(diào)用Linux底層的播放器接口即可完成甩屏播放。