ensomi

R2 · データの出所

R2 のデータはどこから来たか

R2 がどの譜面と音楽から何のために作られたか、監査でわかること、私たちが決めたこと、そして訂正を依頼する方法。

  • 最終更新
  • 監査の証拠: 時点のスナップショット
  • 方針の声明:

このページは翻訳です。正式な内容は英語版です。

このページが対象とするのは ensomi R2 1.0 と 1.0.1 だけで、R1 などそれ以前のモデルは含みません。内容は、詳しい資料であるデータの出所の報告書(英語)を要約したもので、それを超えることは主張しません。

R2 が使ったもの、その目的

R2 は、osu! の Ranked と Loved の 4K 譜面(★2〜6)から作られました。これらの譜面と音声は配布していません。

  • 学習。学習対象の 11,368 譜面で、行モデルと R2 を学習しました。行モデルは音楽とマッパーのタイミングからノーツがどこで始まるかを学び、R2 は音声を聴かずにノーツを配置します。
  • コーパス事前分布。新しい譜面のキャラクターを、似ている学習用譜面から取ります。公開している prior.json には、学習用譜面 1 つにつき 1 行の数値が、名前なしで入っています。
  • キャリブレーション。公開しているプレイアビリティのキャリブレーションとスコープ表は、学習用譜面から導いたものです。
  • タイミング。マッパーのテンポ、ビートグリッド、ノーツを基準にして、R2 が音声にビートグリッドを合わせる方法を選びました。
  • 評価。一部の譜面は、生成した譜面を測ったり聴き比べたりするときの参照になりました。
  • プレビュー。公開している 4 つのプレビューは、元になった 4 曲の音声を使っています。報告書に記載した元譜面のマッパーは、生成された譜面の作者ではありません。
  • ビート検出。R2 は BeatThis の final0 を、作者たちが学習したまま使います。その学習データに含まれる音楽家は、すべては記録されていません。

R2 は、特定のマッパーやアーティストをまねるようには作られていません。モデルはマッパーやアーティストの名前も ID も受け取らず、学習用譜面をひとまとまりとしてゼロから学習しました。学習での抜き出し、ファインチューニング、プレイアビリティの制限、評価の指標のどれも、マッパーやアーティストごとには設定されていません(根拠と限界、英語)。

数字と、それが意味しないこと

時点の、学習対象の譜面についての数です。ラベルはメタデータにある記載で、確認された人物や権利者ではありません。

11,368 譜面
譜面とは一つの難易度、一つの .osu ファイルです。
Creator ラベル 1,129 件
書かれたとおりのマッパー名です。別名はまとめず、合作の表記も分けていません。ゲスト難易度の作者が抜けていることもあります。
Artist ラベル 2,445 件
書かれたとおりのアーティスト名で、作曲者、演奏者、権利者の一覧ではありません。
音声ハッシュ 5,026 件
正確なバイト列で区別した音声ファイルの数で、曲の数ではありません。
グループ 4,167 件
関連する元データを同じデータ区分にまとめておくためのグループで、曲の数ではありません。

学習対象とは、学習が譜面を抜き出すもとになった集合に入っていたという意味で、ある譜面が抜き出されたかどうか、何回抜き出されたかは記録されていません。監査の出発点である凍結済みの全目録の 22,066 譜面は、学習に使った集合ではありません。

監査でわかること、わからないこと

監査で確かめたのは帰属表示と段階への所属、つまり記録された R2 の各段階がどの譜面とラベルを使ったかです。権利処理ではなく、入手経緯と許諾についての完全な調査でもありません。ラベルの背後にいるのが誰か、学習が実際にどの譜面を抜き出したか、BeatThis の学習データに含まれる音楽家の完全な一覧は未解決です。

私たちが決めたこと

方針の声明:

公開済みのモデル r2-1.0 と r2-1.0.1 は、この開示とともに引き続き公開します。今後公開するモデルには、意図する学習と公開の用途に適した、寛容なライセンスまたは明示的な許可のあるデータを使い、そのデータの確認では、該当する場合、引き継いだ重み、上流のコンポーネント、蒸留、派生データも対象にします。監査は、R2 のデータがこの方針を満たすことを示していません。

参加登録とオプトアウト

参加登録(オプトイン)とオプトアウトを検討しています。その決定が権利者からのものだと手軽に確かめる方法も検討に含みます。こうした仕組みはまだなく、公開済みのモデルがすでに学んだことを取り除けるとは主張していません。

表で確かめる

stage_counts.csv に段階ごとの数が、creator_labels_by_stage.csv と artist_labels_by_stage.csv に段階ごとの Creator と Artist のラベルがすべて載っていて、その README(英語)で説明しています。名前を探すには stage を絞り込み(学習用譜面なら r2_cache_fit_train)、raw_label を名前の一部でも検索してください。段階どうしは重なっているので、数を足し合わせないでください。

訂正と質問

帰属表示の訂正、譜面や曲の使われ方についての質問、参加登録やオプトアウトへの関心は、GitHub の issue でお知らせください。英語、日本語、中国語のどれでもかまいません。

issue は公開されます。個人情報や音声は含めないでください。issue を開いただけで、公開済みのモデルから何かが取り除かれることはありません。