合同会社DMM.comは、同社の寺井友哉による論文「Auditing Alignment among Item Relevance, Goal Progress, and LLM-Judged Responses in Music-CRS」が、推薦システム分野の国際会議「RecSys 2026」に併設される「RecSys Challenge 2026 Workshop」に採択されたことを発表した。本研究は、実サービスでの事業貢献を目的とした推薦システムの研究開発や実環境での運用を通じて培った知見をもとにしている。論文は、2026年9月28日から10月2日まで米国ミネソタ州ミネアポリスで開催される「RecSys 2026」の会期中に同ワークショップで発表される予定となっている。

対話型音楽推薦を課題とするRecSys Challenge 2026

「RecSys Challenge 2026」は、国際会議「RecSys 2026」に併設して開催されるコンペティションである。2026年は「対話型音楽推薦」をテーマとし、ユーザーの会話履歴やプロフィールから音楽の好みを理解した上で、適切な楽曲のランキングと自然言語による応答を生成する推薦システムの構築が課題とされた。このコンペティションに関連する研究成果は論文として投稿可能であり、採択された論文が「RecSys Challenge 2026 Workshop」で発表される形式となっている。

評価スコアの妥当性を検証した研究背景

対話型推薦システムにおいては、適切なアイテムの提示に加え、会話内で示されたユーザーの要望を理解し、推薦内容に沿った説明を返すことが求められる。一方、「RecSys Challenge 2026」の総合スコアは、推薦ランキングの精度、推薦される楽曲の多様性、応答文の多様性、LLMによる応答品質評価という異なる観点を一つの指標に統合している。本研究では、この総合スコアがユーザーの要望への適合度や推薦内容と応答文の整合性を適切に表しているかどうかの検証が行われた。

論文が明らかにした2つの不整合と新たな評価の提案

本研究で「RecSys Challenge 2026」の公開データと評価結果を分析した結果、推薦精度、ユーザーの目標への適合度、LLMが評価する応答品質の間に主に2つの不整合が存在することが明らかになった。

第一に、ユーザーが「別のアーティストを推薦してほしい」と明示的に求めた場合でも、正解データの76.0％において同一セッション内ですでに登場したアーティストの楽曲が再び選ばれていた。特に、直前の同一アーティストの推薦が目標達成に寄与しなかったと判定されたケースにおいても、85.8％で同じアーティストの推薦が繰り返されていた。

第二に、推薦する上位20曲を固定したまま応答文のみを変更した場合に、総合スコアが大きく変化することが確認された。このことから、現在の評価方法では推薦自体の良し悪しと説明文の良し悪しが一つのスコアに混在し、個々の改善効果を区別しにくいことが示された。

これらを踏まえ、論文では既存の推薦精度やLLM評価に加え、ユーザーの要望を満たしているかを示す「目標適合度」と、推薦楽曲と説明内容の一致度を示す「ランキングと応答文の整合性」を個別に評価・報告することを提案している。

論文リンク: https://dl.acm.org/doi/10.1145/3842413.3842423

合同会社DMM.comの概要

合同会社DMM.comは、東京都港区に本社を置き、会長を亀山敬司が務める企業である。会員数6,012万人（2026年2月時点）の総合サービスサイト「DMM.com」を運営しており、1998年の創業以来、動画配信や電子書籍などのエンタメ領域から3Dプリント、EV充電、AI関連まで60以上のサービスを展開している。2022年にはサブスクリプション会員システム「DMMプレミアム」を立ち上げている。

• 企業サイト：https://dmm-corp.com/
• プレスキット：https://dmm-corp.com/presskit/
• 公式オウンドメディア：https://inside.dmm.com/

本記事は合同会社DMM.comの発表をもとに作成されています。

Dellows News編集部

ビジネスパーソンの課題解決と納得感にこだわるDellows News編集部。キャリア論からAI、健康法まで幅広い分野に対応し、複雑なテーマでも平易な言葉で丁寧に解説。読者が「明日から使える」知識やヒントを得られるよう、具体的な事例・データ・専門家の見解を交えて執筆。情報を整理し、納得感ある記事づくりを心がけています。