May 25, 2021

[專業涵養]助聽器延遲時間實驗

助聽器麥克風收到聲音後,經過助聽器進行訊號處理,最後從助聽器喇叭發出放大後的聲音;這段過程需要時間,比起聲音直接傳入耳朵一定更久,兩者的差距就是助聽器的延遲時間

如果助聽器的延遲時間太長,會導致聆聽感受不佳,甚至影響語音理解。輕度聽力損失者對此更為敏感,因為很可能先後聽到未經助聽器處理過的聲音及助聽器發出的聲音;面對面交談的時候這個延遲的影響更為明顯,因為有可能造成視覺跟聽覺的不同步,例如說話者的嘴型變化跟聲音無法對應,嚴重妨礙聽覺理解功能。

延遲時間通常以毫秒(ms,millisecond)為單位,1 毫秒等於 0.001 秒(千分之一秒)。大多數人在近距離交談時,對於 40ms 以上的延遲感到明顯視聽不同步,200ms 以上的延遲會導致所有人明顯感受嚴重的視聽不同步;大多數人在近距離交談時,不會感受到 20ms 以內的延遲,幾乎所有人都無法察覺 10ms 以內的延遲。

即使是相同廠牌的助聽器,也還有一些原因會影響助聽器的延遲時間,例如:壓縮頻道數、進階聲音處理功能、收音傳輸模式。

壓縮頻道數越多,功能越多,通常延遲時間越長;一般來說,4 個壓縮頻道的助聽器大約有 3ms 的延遲,16 個壓縮頻道的助聽器大約有 9ms 的延遲,各種進階聲音處理功能(例如數位噪音抑制等)總共也會再增加 1~2ms 的延遲。隨著助聽器處理芯片的運算能力增長,雖然有機會稍微縮短延遲時間(主要改善進階聲音處理功能的部份),還是有個極限。

以上是助聽器本身的延遲時間,亦即以助聽器內建麥克風收音處理的情況。如果助聽器搭配其他無線傳輸設備使用,例如調頻輔具、遠端麥克風、智慧型手機等,利用這些設備收音,還要多加上設備本身的延遲時間,以及無線傳輸的延遲時間。

傳統類比式 FM 調頻輔具的收音跟無線傳輸延遲時間大約在 3ms 左右,Phonak Roger 數位調頻輔具的收音跟無線傳輸延遲時間則大約為 18ms 左右;Phonak 宣稱使用 Roger 數位調頻系統在最佳條件下,整體(包含助聽器在內)最短延遲時間為 23ms。因此,即使數位調頻輔具帶來許多優點,已有少部分使用者稍微能感受到聲音延遲,畢竟沒辦法達到類比式助聽器搭配類比式 FM 調頻輔具總共可能只有 5ms 的超短延遲時間。

如果不使用調頻輔具,而用助聽器廠牌專屬的無線遠端配件呢?那些 MFi 助聽器搭配 iPhone/iPad/iPod touch 的情況如何呢?為了了解這個問題,我決定實際做個簡單的實驗,自己測量延遲時間!

注意:我這次做的實驗並不嚴謹,存在誤差與限制,許多環境變因沒有特別控制,請勿誤解成特定產品的精確性能規格。

實驗方法與限制

我這次實驗用到的設備包括:

  • ReSound Key 4 助聽器(12 個壓縮頻道,屬於該廠牌的低階機型,符合 MFi 助聽裝置規格)
  • ReSound Multi Mic 遠端麥克風配件
  • Phonak Sky M30 助聽器(8 個壓縮頻道,屬於該廠牌的低階機型)
  • iPad mini(第五代)平板電腦
  • Samsung Galaxy Tab Active2 平板電腦
  • Adobe Audition 軟體

助聽器放在平板電腦旁,助聽器喇叭對著平板電腦麥克風開口緊鄰放置
Samsung Galaxy Tab Active2 平板電腦用來擔任錄音設備(用這台的原因是……我手邊只有這台),錄音規格採用 48 kHz / 16 bit / WAV,要量測的助聽器以上圖那樣將喇叭對著平板電腦麥克風開口緊鄰放置。訊號音是我自己用手指彈指的聲音,單純量測助聽器的情況在距離助聽器麥克風約 5 公分以內的距離彈指,量測其他配件(ReSound Multi Mic 或 iPad mini)的情況則在配件麥克風約 5 公分以內的距離彈指,此時配件與助聽器距離約 20~30 公分。

我每個情境都會彈指 4 到 8 次,每次的發聲品質跟音量當然都不穩定,但已經足夠本次實驗使用;聲源距離沒有嚴格控制,但以這個距離範圍來說,考量空氣中的音速,實際造成的誤差應該在 ±1ms 以內。錄音的結果傳到電腦用 Adobe Audition 軟體檢視波型及(徒手)計算延遲時間,顯示的時間尺度最小單位為 1ms,表示在這個步驟還可能造成 ±0.5ms 的誤差。

以下波型顯示均經過時間軸調整(波型內容完全沒有動到),我把整個顯示時窗 (Epoch) 開到 360ms,並且把彈指訊號的尖峰對齊在 +50ms 處;彈指訊號尖峰以紅色「➡」符號標示,助聽器麥克風收音後發出的訊號尖峰以橘色「⌂」符號標示,配件收音後助聽器發出的聲音訊號尖峰以黃色「V」符號標示(詳後述)。

彈指聲響

彈指聲響為脈衝音,訊號尖峰位於 +50ms 處
上圖是助聽器放著但不裝電池的情況下,錄製到的波型;即考慮助聽器稍微擋在平板電腦麥克風開口處,平板電腦直接收錄彈指聲的情況,當成實驗的記錄基線。彈指聲響的聲學特色為脈衝音,意思是在很短的時間內達到音量尖峰,之後聲源迅速停止,剩餘記錄到的主要是空間中的餘響以及錄音設備的響應。日常生活中,其他常用的脈衝音包括:扎破氣球、用力闔上書本、拍掌等,但這些脈衝音的音量對於本次實驗太大,也比較麻煩,故不採用。

ReSound Key 4 助聽器

單獨使用 ReSound Key 4 助聽器的結果:彈指訊號位於 +50ms,助聽器麥克風訊號位於 +61ms
將 ReSound Key 4 助聽器開機,啟動所有的進階聲音處理功能,錄製到的波型如上圖。這個情況下會收錄到兩個尖峰:第一個尖峰是平板電腦麥克風直接收錄的彈指聲,第二個尖峰是助聽器麥克風收到彈指聲,經過處理後由喇叭發聲,再由平板電腦收錄的結果;兩個尖峰的時間差異就是這只助聽器的延遲時間。

第一個尖峰位於 +50ms,第二個尖峰位於 +61ms,表示 ReSound Key 4 啟動所有進階聲音處理功能的情況下,延遲時間大約 11ms。

ReSound Key 4 助聽器搭配 ReSound Multi Mic 配件

ReSound Key 4 助聽器搭配 ReSound Multi Mic 的結果:彈指訊號位於 +50ms,助聽器麥克風訊號位於 +59ms,Multi Mic 訊號位於 +81ms
ReSound Key 4 助聽器保持開機,接著啟動 ReSound Multi Mic 遠端麥克風配件,助聽器設置為內建麥克風與配件音源混音輸出(這時各項進階聲音處理功能會切換到關閉狀態),錄製到的波型如上圖。這個情況下會收錄到三個尖峰:前兩個尖峰如前述,第三個尖峰是 Multi Mic 收到彈指聲,以無線傳輸方式傳送到助聽器,經過助聽器處理後由喇叭發聲,再由平板電腦收錄的結果。

第一個尖峰位於 +50ms,第二個尖峰位於 +59ms,第三個尖峰位於 +81ms,表示 ReSound Key 4 關閉各項進階聲音處理功能的情況下,延遲時間大約 9ms(從而推算進階聲音處理功能最多導致 2ms 延遲,畢竟這是低階機型,芯片運算力較弱),而搭配 Multi Mic 遠端麥克風配件的整體延遲時間大約 31ms,其中 Multi Mic 收音及傳輸的部份約佔 22ms。

ReSound Key 4 助聽器搭配 iPad mini 即時聆聽功能

ReSound Key 4 助聽器搭配 iPad mini 即時聆聽功能的結果:彈指訊號位於 +50ms,助聽器麥克風訊號位於 +59ms,iPad mini 訊號位於 +113ms
ReSound Key 4 為 MFi 助聽裝置,可以使用 iOS/iPadOS 內建的即時聆聽功能,把 iPhone/iPad/iPod touch 直接當成遠端麥克風收音使用。在這個實驗階段,前一步驟的 Multi Mic 關機,然後啟動 iPad mini 的藍牙連線(剛剛一直都是關閉的狀態,才不會產生影響)與 ReSound Key 4 連線,並啟動「即時聆聽」功能(這時助聽器各項進階聲音處理功能也處於關閉狀態),錄製到的波型如上圖,同樣會收錄到三個尖峰:前兩個尖峰如前述,第三個尖峰是 iPad mini 收到彈指聲,以無線傳輸方式傳送到助聽器,經過助聽器處理後由喇叭發聲,再由平板電腦收錄的結果。

第一個尖峰位於 +50ms,第二個尖峰位於 +59ms,第三個尖峰位於 +113ms,表示 ReSound Key 4 搭配 iPad mini 即時聆聽功能的整體延遲時間大約 63ms,其中 iPad mini 收音及傳輸的部份約佔 54ms。

ReSound Key 4 助聽器搭配 Chatable 應用程式

ReSound Key 4 助聽器搭配 Chatable 應用程式的結果:彈指訊號位於 +50ms,助聽器麥克風訊號位於 +59ms,iPad mini 訊號位於 +141ms
Chatable 是一個標榜利用人工智慧分離語音及背景噪音的應用程式,可以在 iPhone/iPad/iPod mini 及部分 Android 設備上使用。在這個實驗階段,ReSound Key 4 仍然與 iPad mini 連線,關閉「即時聆聽」功能,然後啟動 Chatable 應用程式來收音,錄製到的波型如上圖,同樣會收錄到三個尖峰如前述。

第一個尖峰位於 +50ms,第二個尖峰位於 +59ms,第三個尖峰位於 +141ms,表示 ReSound Key 4 搭配 Chatable 應用程式的整體延遲時間大約 91ms;考量助聽器本身的 9ms 延遲,iPad mini 收音及傳輸的部份約佔 54ms,推算 Chatable 運算的部份約佔 28ms。

Phonak Sky M30 助聽器

單獨使用 Phonak Sky M30 助聽器的結果:彈指訊號位於 +50ms,助聽器麥克風訊號位於 +57ms
前面用到的 ReSound Key 4 助聽器跟 iPad mini 藍牙連線功能都先關閉,把 Phonak Sky M30 開機,採用預設調整選項(只啟動部分進階聲音處理功能),錄製到的波型如上圖,會收錄到兩個尖峰如前述。

第一個尖峰位於 +50ms,第二個尖峰位於 +57ms,表示 Phonak Sky M30 啟動部分進階聲音處理功能的情況下,延遲時間大約 7ms。

Phonak Sky M30 助聽器搭配 Chatable 應用程式

Phonak Sky M30 助聽器搭配 Chatable 應用程式的結果:彈指訊號位於 +50ms,助聽器麥克風訊號位於 +57ms,iPad mini 訊號位於 +287ms
Phonak Sky M30 助聽器不是 MFi 助聽裝置,無法使用「即時聆聽」功能,但還是可以當成傳統藍牙耳機與 iPad mini 連線。在這個實驗階段,開啟 iPad mini 藍牙連線功能,與 Phonak Sky M30 連線後,啟動 Chatable 應用程式來收音(Chatable 會警告目前不是使用 MFi 助聽裝置),錄製到的波型如上圖,同樣會收錄到三個尖峰如前述。

第一個尖峰位於 +50ms,第二個尖峰位於 +57ms,第三個尖峰位於 +287ms,表示 Phonak Sky M30 搭配 Chatable 應用程式的整體延遲時間大約 237ms;考量助聽器本身的 7ms 延遲,Chatable 運算的部份約佔 28ms,推算此情境 iPad mini 收音及(使用傳統藍牙連線)傳輸的部份約佔 202ms。

結果及討論

本次實驗得到各成分的延遲時間大致如下:

ReSound Key 4 助聽器基礎功能
9ms
ReSound Key 4 助聽器進階聲音處理
2ms
Phonak Sky M30 助聽器
7ms
ReSound Multi Mic 遠端麥克風配件收音及無線傳輸
22ms
iPad mini 基本訊號處理及 MFi 傳輸
54ms
iPad mini 基本訊號處理及傳統藍牙連線傳輸
202ms
Chatable 運算
28ms

兩款助聽器的差異與期待相符:壓縮頻道數較多的機型延遲時間較長,啟用更多進階聲音處理技術也會增加延遲時間。

整體來說,ReSound Key 4 助聽器搭配 Multi Mic 遠端麥克風配件的延遲情況還在可用範圍,如果有些人開始察覺到聲音延遲,建議避免在近距離面對面交談的時候使用,或者請說話的對方戴上不透明口罩,或者選擇側坐位置不要直視對方嘴型,這些策略都可以減輕這種輕微延遲感;MFi 助聽器搭配「即時聆聽」功能的延遲時間已經相當明顯,大概所有人都明顯感受到聲音延遲,應該避免在上課、受訓、參與會議討論等重要場合使用。至於搭配 Chatable 應用程式的延遲感受更為明顯,這個應用程式可能還是比較適合輕度聽損者搭配有線耳機使用吧。

另一方面,Phonak Sky M30 助聽器只能使用傳統藍牙連線傳輸方式,延遲時間一定超過 200ms,基本上屬於無法使用的程度,可能只能勉強用於非視訊型態的電話交談,或者用於可調整影音同步時間的娛樂用途;至於日常交談聆聽的情境,還是選擇搭配(昂貴的)Phonak Roger 調頻輔具比較可行。


2021/05/27 補增:

Apple EarPods 耳機搭配 Chatable 應用程式

Apple EarPods(3.5mm 連接介面)耳機搭配 Chatable 應用程式的結果:彈指訊號位於 +50ms,iPad mini 訊號位於 +89ms
前面提到 Chatable 應用程式可能比較適合有線耳機使用……剛好最近取得 Apple EarPods 耳機(3.5mm 接頭版本),同樣拿來測試結果如上圖(錄製日期不同,彈指的變化較大),會收錄到兩個尖峰:第一個尖峰是平板電腦麥克風直接收錄的彈指聲,第二個尖峰是 iPad mini 收到彈指聲,經由 Chatable 處理後從耳機發聲,再由平板電腦收錄的結果。

第一個尖峰位於 +50ms,第二個尖峰位於 +89ms,表示 Chatable 搭配有線耳機的情況下,整體延遲剛好還沒超過 40ms,如本文一開始說,已經達到實際可接受程度的上限;Chatable 若搭配任何無線傳輸的耳機,不論傳輸延遲再短,大多數人在近距離交談情境都會感到明顯視聽不同步。我們還可以推算 iPad mini 內部處理音訊(不含傳輸)的延遲時間:由這個測試項目的 39ms 減去 Chatable 運算時間 28ms,得到 11ms 的 iPad mini 處理延遲時間;再用這個時間回頭看前面的數值,還能得到 MFi 無線傳輸部分的延遲時間為 43ms,傳統藍牙連線傳輸部分的延遲時間為 191ms。(最後這幾個數值是假設 3.5mm 音源輸出到耳機發出聲音這一段過程的延遲時間趨近於 0,實際上可能這裡也有很短暫的延遲,請注意。)


2021/05/30 補增及修正:

我發現原本提供的「助聽器放在平板電腦旁」的照片中,助聽器喇叭對到的位置是平板電腦喇叭,平板電腦麥克風在旁邊;我重新調整位置及拍照,也檢查確認過沒影響到前面這些實驗結果,請恕我懶得更新波型圖。

ReSound Key 4 助聽器搭配 ReSound Multi Mic 配件及 Phonak Roger X 接收器與 Phonak Roger Select 遠端麥克風

ReSound Key 4 助聽器搭配 Multi Mic 配件轉接 Roger Select 遠端麥克風的結果:脈衝訊號位於 +50ms,Roger Select 訊號位於 +97ms
由於 ReSound Multi Mic 配件上面提供 EuroPlug 介面,所以可以使用 Phonak Roger X 接收器,搭配 Phonak Roger 遠端麥克風系統。我手邊剛好借到一組 Phonak Roger Select,我把它設定成桌上全方向收音模式,整組串起來把聲音傳到 ReSound Key 4 助聽器。

這個實驗過程有個原本沒料到的意外:Phonak Roger Select 似乎有著非常強力的噪音辨識及抑制功能,我的彈指聲一下子就被認出來不是講話語音,Roger Select 直接把彈指聲濾掉了!我只好把助聽器的混音設定調整成放大串流音源,又拿出訊號產生器,換了幾個不同脈衝聲設定,終於在一連串錄音中,勉強撿到一小段能用的記錄,收錄到兩個尖峰:第一個尖峰是平板電腦麥克風直接收錄的脈衝聲,第二個尖峰是 Roger Select 收到的脈衝聲,經由 Roger 訊號傳輸由 Roger X 接收器所接收,再由 Multi Mic 轉傳至助聽器由助聽器喇叭發聲,再由平板電腦收錄的結果。

第一個尖峰位於 +50ms,第二個尖峰位於 +97ms,推算上述這一整段歷程共耗去 47ms;從先前的實驗結果得知 ReSound Key 4 內部基本訊號處理的延遲時間為 9ms,Multi Mic 傳輸的延遲時間為 22ms,因此推算 Roger Select 收音及傳輸到 Roger X 接收器這一段的延遲時間為 16ms,與 Phonak 提供的原廠規格(18ms 以內)大致相符。不過從這個結果也發現:經由這樣轉接的方式,整體延遲時間已經稍微超過 40ms;若要搭配學校環境特教系統提供的調頻輔具,這種轉接方式的延遲時間不大理想,還是選配能直接在機身安裝接收器(例如以音靴轉接,或者選擇內建 Roger 接收器)的助聽器機型較佳。

所發表 | 顯示版本變更: 1.7
[創用 CC 授權條款]
助聽器延遲時間實驗〉由 Jedi 製作,所有內容如無特別聲明,一律以創用 CC 姓名標示 3.0 台灣版授權條款釋出。
相關文章:
歷史上的今天:
迴響
給我迴響吧!

注意事項

  • 因為廣告留言很多,如果您發表後看不到,請靜候審核通過(通常在一個工作天內能夠處理完成)。
  • 與文章內容無直接關聯的留言一律不予回覆,留言前請善用部落格文章搜尋功能;如果真的找不到直接相關的文章,請善用無主題留言板
個人資訊








是否記住個人資訊?



請依上圖輸入檢核碼:
迴響





Jedi.org: 部落格 | 網頁親和力 | 深入親和力 | 簡報原力:AV | 履歷 | @