はやぽんログ!

使ったスマホは300台以上。スマホネイティブ世代のライターが独自の視点でレビューやニュース、コラムを発信中!

「低遅延」「ゲーミング」をアピールするワイヤレスイヤホンでも音ゲーが遊べない理由。"判定幅"と人間の知覚から考える「音ゲーができる遅延」とは

 ゲーミング対応の低遅延をアピールするワイヤレスのイヤホンがいくつも登場しているが、どれもリズムゲーム。いわゆる「音ゲー」は満足に遊べないという結果が出ている。
 低遅延をアピールしても、なぜ人間にはわかってしまうのか。そのあたりを深堀してみていこう。

 

 

映像のと音声のズレから"違和感"を感じる時間は0.1秒


 はじめに、一般的に人間が映像と音声のズレを「遅延」として認識し、違和感や不自然さを感じる時間を確認してみる。
 これについては、数多くの研究結果が出ているが、概ね100ms(0.1秒)を一つの目安としていることが分かった。

 

 今回参考にした研究結果はSubjective Evaluation of Perception of Delay Time between Visual Information and Tactile Informationと題されるものだ。


f:id:hayaponlog:20230208221810j:image

 ここでは主観評価として、映像と音声が意図的に遅延を発生させ、何秒の遅延で違和感を感じるかをモニタリングしたものだ。

 この評価基準の3.5(感じてわずかに不自然である)が100ms前後となっている。あくまで、人間というあいまいなターゲットを対象にした主観評価であることは念頭におこう。

 

 そのため、多くの「ゲーミングモード」を搭載する機種が100ms以内の遅延に抑えている。その根拠がこの数字であり、理論的にはこれより遅延を抑えれば、遅延によって感じる不自然さが低減されるのだ。

 

音ゲーにおいて、人間は"リズム効果"でスペックを超える知覚パフォーマンスが出せる


 そんな中、リズムゲームに関する面白い講演が過去に行われていたことを思い出した。
 CEDEC2019にてバンダイナムコ未来研究所の森口氏の『芯(シン)・遅延対策2020 ~ヒトのスペックから導かれる安定性重視とフレームレートのベストプラクティス』という題目だ。

 

 この講演内では、人間のスペックに合わせたゲームの遅延対策として、同社が行ってきた対応や知見が語られた。前半は人間の知覚や反応に関するスペック、後半はそれに合わせたリフレッシュレート設定などでまとめられている。


 講演内容から引用すると、一般的な人間の知覚は視覚で20ms(0.02秒)※、聴覚で2ms(0.002秒)の遅延を検知可能なこと。検知、処理、行動までの時間は200ms(0.2秒)であることに触れたうえで、以下のような内容だ。

※最新の研究では視覚も8msという結果も出ている。


 人間の知覚処理から脳を「プロセッサ」として仮定した場合、周波数でいうところの25~33Hzで動作するという。この1クロックで視覚、聴覚、触覚、記憶などを統合した検知処理が行われる。
 個人差はあるものの、人間は1秒間あたり、25~33回の状態変化の検知が可能となっている。
 このため人間の知覚の分解能が30〜40msであること、脳の処理信号の分解能も同様であると説明している。これ以上の細かい時間間隔はうまく処理できないという。

f:id:hayaponlog:20230209161619j:image

 この知覚の分解能によって、我々は30fpsと60fpsの映像の滑らかさの差を多くの人が体感できるものとなっている。

 

  さて、リズムゲームでは人間の持つスペックの限界を超えることがあるという。これについては「リズム同期」という例を挙げている。 


 「音楽に合わせて体を動かす」ことで30msよりも細かい検知が可能になるが、これは脳の強化学習の結果だと言う。
 スマートフォン向けコンテンツでは、この効果を前提にしたゲーム設計は高難易度すぎるという。

 一般的な知覚処理を考慮すると、タイミング幅は40ms幅の設定で作ることが最適だとしている。(これより狭くすると難易度がかなり高いと言われる)

f:id:hayaponlog:20230208231253j:image

タイミング幅は判定とも言われるものだ。

 

 ちなみにゲームセンターで見かけるDance Dance Revolutionやbeatmania IIDXは判定幅が16.67msである。太鼓の達人も高難易度では25msとなる。上記のようなゲームでは、一般的な人間の検知幅である30msを超えたものになるため、「リズム同期ありきのゲーム設計」となっている。


 高難易度の譜面をAll Perfectでクリアするには、楽器を演奏するのと同様の高度なトレーニングが必要となる。16.67msが見えるというのは、「60fpsで描画された動画がフレーム単位で追える」というスキルだ。

 目で追うよりも体で感じるに近く、叩いているよりも「奏でている」が表現的には近い。

 

 今回は割愛するが、端末側のハードウェアレイテンシーもある。

 プレイングに関係するタップ音やエフェクトについても、人間の脳内バッファが100msまでは許容してくれるとしている。

 この辺りはゲームエンジンの関係で難しいものもあるそうだが、設計ではこの数位以内で処理することが望ましいとしている。

 参考までにピアノでは、打鍵から出音まで50msほどの遅延があると言う。

 

スマートフォン向けの音ゲー。判定幅は40msが多い

 

 スマートフォン向けコンテンツでは前述のこともあってか、概ね40msのタイミング幅を基準にしてゲーム設計を行っているようだ。

 端末のハードウェア固有の遅延もあるため、過度に攻めることができない背景もあるようだ。ある意味しきい値にもなっている。いわゆる音ゲーマーが「スマホ向けコンテンツは簡単」と指摘する背景はこの部分になるだろう。 

 


 スマートフォン向けのリズムゲームとなる初音ミクプロジェクトセカイやバンドリでは、ノーツ幅は41.67msとなっているようだ。DeemoやMuse Dush、ミリシタで50ms、デレステは60msとなっている。(推測値のため、厳密な数字は不明)


f:id:hayaponlog:20230208223916j:image

 スマートフォン向けコンテンツでは前述のこともあってか、概ね40msのタイミング幅を基準にしてゲーム設計を行っているようだ。

 

 タイミング幅はいわゆる「判定幅」とも言えるものだ。例に挙げるとリズムゲームのスコアはざっくりで「Perfect」「Great」「Good」「Fast/Slow」「MISS」の5段階となる。仮に全て40ms幅でゲーム構成をした場合、以下のようになるはずだ。

Perfect 0〜-20ms※
Great -21〜-60ms
Good -61〜-100ms
Slow -101〜-140ms
MISS -141ms〜
※Perfectはプラス側にもあるため。

 

 全てのリズムゲームがこう言うわけではないが、仮にもバンドリやプロセカが約40msの判定幅とした場合、Perfect幅は遅延方向のマイナス側で20msしかないのだ。

 

 そのため、端末固有の遅延を含めた有線イヤホンでのプレイングと0を仮定した場合。ほぼ同等の感覚を得るには、ワイヤレスイヤホン側の音声遅延は20ms(0.02秒)以下に抑えねばならないことになる。

 

 仮にタイミング調整を行った場合でも、理論的にはノーツ幅の40msまでの遅延がギリギリだ。これよりも遅延が大きいものは、遊べてもどこか違和感を覚えるプレイングになる。

 

ワイヤレスイヤホンで音ゲーを遊ぶ!遅延なしは無理だが、許容限界はタイミング調整をして40ms

 

 実際に筆者がミリシタで検証した結果がこのような形だ。端末はXperia 1IVを使用している。

 脳が環境に慣れることを防ぐため、各プレイ毎にiPhoneで一度プレイし、感覚をリセットした状態で検証した。

(PERFECTのタイミング幅50ms。マイナス側で25ms)


f:id:hayaponlog:20230208222012j:image

Xperia 1IV 有線イヤホンでのリザルトf:id:hayaponlog:20230208222051j:image

Anker VR P10(遅延約30ms)でのリザルト

 

 フルコンボで叩けたのはこの2つだけだった。VR P10ではPERFECTの精度が95%を超えていて、有線でのプレイングにかなり近いものであった。それでも"近い感覚"で、有線イヤホンでのプレイと全く同じ感覚にはならなかった。


f:id:hayaponlog:20230208222140j:image

ASUS ROG CETRA Ture Wireless(AAC 遅延約70ms前後)でのリザルト

f:id:hayaponlog:20230208222151j:image

Final ZE3000(aptX Adaptive 遅延約100ms前後)でのリザルト
f:id:hayaponlog:20230208222436j:image

Edifer Neobuds Pro(LDAC 遅延約300ms前後)でのリザルト

 

 その他の機種ではこのようになった。全般的にミスが目立ち、精度がやや下がっていることが分かる。

 ゲーミングをアピールする低遅延のイヤホンですら、本来正しいタイミングで叩いても、常に体感できるだけの遅延がある。そのため、Great判定も増える形となる。

 100msの遅延を超えると明らかに違和感を覚えることもわかった。リザルトの通りMISSも増え始め、まともに遊ぶことが少々難しくなるのだ。

 

音ゲーを快適に遊ぶために求められるワイヤレスイヤホン側の遅延は40ms以下。現時点で達成は難しい

 

 ここまで人間が違和感を感じる遅延時間と、リズムゲームの設計におけるノーツのタイミング幅について説明してきた。

 ワイヤレスイヤホンでリズムゲームを満足に遊ぶためには、タイミング幅よりもイヤホン側の遅延が短くなければならないのだ。

 

 ここで主要なTWSイヤホンの遅延をチェックしてみる。なお、一般的なTWSイヤホンは250〜400msの遅延があるようだ。

Apple AirPods Pro 第2世代:130ms

SONY WF-1000XM4:100ms(理論値)

Razer Hammerhead True Wireless:60ms(ゲーミング)

BlackShark JoyBuds Pro:55〜60ms(実測値 ゲーミング)

EPOS GTW-270 Hybrid:50ms(aptX LL ゲーミング)

JBL Quantum TWS:40ms

Anker VR P10:30ms(ゲーミング)

 これを考えると普通の機種はもちろん、ゲーミングをアピールするTWSイヤホンでもリズムゲームにおいてかなり厳しいことが分かる。

 音声遅延が抑えられている「ゲーミング」をアピールする機種でも遅延は55〜60msはある。近年では40msクラスのものも出ているが、ラボスコアがほとんどで実測値はこれより劣るものが多い。

 

 Bluetoothのコーデック的にはaptX LL(Low Latency)が規格上の遅延が40msとしており、Bluetooth規格でこれよりも遅延を抑える事はかなり難しいと考えられる。

 このコーデックは対応機種がかなり限られているため、本来の性能を発揮するのはかなり難しい。

 

 ちなみにJBL Quantum TWSとAnker VR P10はBluetoothではなく、専用ドングルを用いた2.4GHz帯通信を採用している。

 これによって音声遅延をかなり抑えられているが、それでも最新のVR P10の30msが現時点での最高峰だ。

 

 ただ"リズム効果"によって、人間のスペックを超える細かい感覚の検知が可能になっている状態では、遅延というより違和感を感じることがあるはずだ。

f:id:hayaponlog:20230208230639j:image

現時点の最高峰となるAnker VR P10。30msの遅延は、タイミング調整次第で有線イヤホンにかなり近いプレイングが可能だ。

 

 

 これを見てワイヤレスイヤホンでリズムゲームを満足に遊ぶことが、かなり難しいということが分かったはずだ。もしも無線のイヤホンで「リズムゲームを遊びたい」といった際の参考になれば嬉しいところだ。

 

cir.nii.ac.jp

jp.gamesindustry.biz

www.tcu.ac.jp

www.hayaponlog.site