與VTuber即時互動體驗 - Photon與『ときめきVR』的成功故事

產業類別:遊戲產業
團隊名稱:株式会社DONUTS
相關介紹:https://tkmk.live/
官方網站:https://www.donuts.ne.jp/

「Photon Industries的助力下,實現了VTuber與用戶的實時對話。我們對其「無壓力且穩定運行」的表現感到非常信賴。」

『ときめきVR – 與VTuber的現場對談』(以下簡稱『ときめきVR』)是株式会社DONUTS開發的基於VR的對話型交流服務。這項服務讓由VTuber扮演的VR角色與用戶可以一對一地進行輕鬆的粉絲會面,因此非常受歡迎。而在這一實時性的關鍵部分,採用了Photon技術。本次我們將分享『ときめきVR』的開發經歷,以及採用非遊戲用途的Photon Industries(以下稱Photon)後所實現的功能,以及使用後的感想。

採訪協力:株式会社DONUTS 社長室 ときめきVR小組 小組領導 M.K先生 工程師 F.K先生

Q:請講述『ときめきVR』企劃的起源

A:F.K:在內部會議中,我們探索使用3D角色進行新業務開展,提出了多種方案。其中有一個想法是「直接與3D角色對話會很有趣吧?」最初考慮創建真實風格的可愛3D角色,但這樣角色數量就會受限。於是我們轉向讓VTuber使用自己的VRM角色※,並為他們和粉絲提供一對一交流的場所。

※VRM角色:由ドワンゴ主導的VRM聯盟推廣的,針對VR應用的人形3D頭像檔案格式。

Q:開發過程是怎樣的?

F.K:開發始於2019年春。最初以開發消費者遊戲的方式進行,但後來轉變方針,決定由VTuber提供VRM角色數據,並用動作捕捉技術來運動。我們擁有包括自家開發在內的多種動作捕捉技術,但最終選擇了Apple提供的簡單功能來開發首個版本。

支援VR頭盔(Oculus Go、Oculus Quest、Oculus Quest 2、HTC VIVE)、iPhone、Android。

Q:開發過程中遇到了哪些挑戰?

F.K:技術上的挑戰很多。最困難的是讓3D角色和用戶能夠實時對話。流程包括捕捉VTuber全身動作,對動作進行控制,反映到VRM角色上,並實時與用戶的VR眼鏡或iPhone同步。

例如YouTube等平台的直播,即使延遲10秒也能被接受,但『ときめきVR』的對話延遲必須在1秒以內。為此我們遇到了很多困難。此外,我們需要在不依賴如電腦等強大硬件的情況下,僅使用iPhone和VR頭盔即時運行。

Q:為何選擇使用Photon?

F.K:『ときめきVR』不是常時直播,而是根據預約進行對話。因此無需建立昂貴的服務器,這是我們首次考慮全雲系統。

然而,透過全雲系統實時傳輸聲音和動作數據非常困難。我們先嘗試了一些全球知名的服務,但遇到了延遲和動作數據實時傳輸等問題,甚至那些服務的開發人員也說「對我們來說太難了」。我們還試用了WebRTC等技術,但也未能成功。經過一番尋找後,我們找到了Photon。

我們使用Photon「REALTIME」來控制動作數據和交換用戶操作數據,並利用Photon「VOICE」進行語音通話。Photon提供免費範圍,我們在此範圍內完成了所有開發和測試,並確認「其實時性沒有問題」,因此正式採用了Photon。

在『ときめきVR』中,不需要大型設備,僅使用iPhone即可進行現場直播。用戶可以購買對話LIVE門票,進行2分鐘的一對一對話。

Q:導入Photon後的感想?

F.K:Photon提供了非常出色的範例程式。但範例太過完善,一開始我們甚至看不懂它的意義(笑)。最初,我們分析程式碼,進行實驗,摸索前進。幸運的是,Photon運營事務所的回答非常迅速,這對我們很有幫助。一旦理解了範例的含義,並能夠自行使用後,開發進展迅速。

Q:導入Photon的好處是什麼?

M.K:穩定性。Photon「無壓力且穩定運行」的特點是最重要的。這類基礎SDK應該更注重「可靠運行」和「高信賴性」。在這方面,Photon非常可靠。

此外,如果我們自己來做Photon的部分,維護將非常困難,並且在開發人員變更時可能無法順利交接。考慮到這些服務運營方面,採用外部的優秀服務更好。採用Photon也大大減少了運營成本。

Q:發佈後的反饋和未來計劃?

M.K:多虧了Photon,我們解決了實時性問題,自2021年2月發佈後順利開始服務,並持續提供服務。

未來我們計劃進一步擴展『ときめきVR』的服務,並考慮利用Photon的其他SDK。