分析する：メタクリティックゲームの評価

こんにちは、Habr world！



この投稿では、Metacritic.comサイトのゲームのベースを収集して分析した私の経験を共有し、何が起こったのか、そして他に何が計画にあるのかをお話ししたいと思います。資料が読者を見つけ、可能なフィードバックが弱点とさらなる分析のための潜在的な方向性を示すことを願っています。

バックグラウンド

この春と夏の私たちの多くは、自宅で仕事をしたり、景気後退やその他の理由で誰もが知っているように、1日に数時間自由に利用できました。自由な時間を有効に使うことにしました。大学時代から使っていなかったRを引き締めると同時に、実際のデータを練習することにしました（実際のプロジェクトがない証明書には価値がありません）。



なぜこの特定のベースを選んだのですか？ゲームが大好きだから。また、6月にThe Last ofUsというゲームの周りでスキャンダルがあったためです。パートIIは、ほぼ完全に批評家の称賛を受け、ゲームコミュニティの一部から非常に否定的な評価を受けました。



私はいくつかの質問に対する答えを見つけることに興味がありました：

1. プレスとプレイヤーの評価はどのように対応していますか？
2. a）報道機関の評価に大きな影響がありますか。b）プレーヤーの評価。c）見積もりの​​違いは？

そして私は答えを探し始めました。

初挑戦。相対的な成功

metacrtitic.comで回答を探すことにしました-これはゲームの出版物の評価を集約し、ユーザーがゲームを評価できるようにする大規模なサイトです（重要な注意：ゲームを評価するために、ゲームの所有権を証明する必要はまったくありません）。タスクは簡単なようでした：「メタクリティックを解析し、手でベースを感じてください！」



否や言うほどない。おそらく、Habrの聴衆にとって、それは秘密ではないでしょう。今日、実用的な（！=良い）コードを書くために、プログラマーである必要はまったくありません。少なくとも、私はこれを完全に信じて、私の問題を解決しました。



Google、stackoverflow、およびDataCampから学べることを武器に、1日で約16,000行のデータベースを収集し、投稿ごとに名前、プラットフォーム、ユーザーの評価、批評家の評価、リリース日を保存し、すぐに2つ作成しました。その後、彼はゲームとゲームに近いテーマのためにロシアのプラットフォームの1つに投稿しました。





グラフの背後にはわかりやすい分析はありませんでした。観察された効果を注意深く説明しただけです。しかし、コミュニティは視覚化を温かく受け入れ（そして誰かがアイデアを開発し、その後ゲームに関するフィードバックを生成するニューラルネットワークを展開しました）、それはすべてを途中で放棄せずにデータベースを掘り下げ続ける動機を与えました。

2回目の試行。興味深いのはまだ始まったばかりです

Habrの聴衆にとって、これは秘密ではないと私は信じています。傲慢さは悪く、実用的な（！=良い）コードを書くことは簡単な作業ではありません。スタックオーバーフローがどれほど便利であっても、Googleとガイドは「インターネット上のページを解析するのは簡単です。必要なのは…」



最初のグラフを6月24日と25日に公開しましたが、翌週はさらに情報を収集する以外に何も考えられませんでした。



しかし、私が書いたコードは完全にひどい振る舞いをしていました。彼は：

1. ゆっくりと動作しました（そしてこれは明白でした）。
2. 私はいくつかのレコードの重複を収集し、他のレコードを完全に無視しました（これは明らかではありませんでした。ゲームを含むページへのリンクのベースをコンパイルした後、それらから重複を削除しました。行数が数万に達すると、何かを見逃したかどうかを確実に言うことは不可能です） ..。

結局、The Last ofUsは2番目の問題を見つけるのに役立ちました。収集したデータベースでは見つからなかったパート2。数回繰り返した後、正しく機能するコードを思いつくことができました。



最初の問題の解決策は、プログラミングでお金を稼ぐ人にとっては些細なことのように思えるかもしれませんが、私はその1人ではないので、私と一緒に笑うことをお勧めします（率直に言って、問題自体はばかげていますが、本当の「あはは」の瞬間でした）。



履歴はコードを保存しませんでしたが、まだスクリーンショットがあります-スポイラーの下で評価できます（注意してください、スペインの恥の攻撃が可能です）。





最終的に、両方の問題が解決されました。パーサーコードはGitHubに掲載されています。まだ多くの論争があると確信していますが、今ではうまくいくようです（これは間違いなく私のPSIにポイントを追加します）。

外来カードまたはMetacritic.comデータベースの説明

解析が必要なゲームを含むページの最終リストは7月1日に編集され、96,719エントリが含まれていました-Metacritic.comのゲームページへのリンク（利用可能な各プラットフォームのアルファベット順のインデックスからリンクベースを収集したので、同じゲーム個々のプラットフォームのデータベースで見つけることができます。公平を期すために、これらの場合の見積もりも独立していることに注意してください）。

> length(all_platforms)
[96719]

これは興味深いことです。実際、このデータベースには仕事に適した96,718件のレコードがありました。Metacriticは***というゲームをPCのアルファベット順のリストに保存します（はい、これらは3つのアスタリスクです-いいえ、これは検閲ではありません）が、リンクはここにありますリストは、既存のゲームページではなく、PCゲームページを指します。 「手作業で」追加してもあまり意味がありません。ゲームにはユーザーの評価も批判もありません。したがって、分析には実質的にメリットはありません（もちろん、データベースのサイズを考慮に入れます）。



残りの96,718行のうち、213リンクは404ページにつながるか、500サーバーエラーで「誓う」-これらのページは、データベースが収集および更新されるときにスキップされます。

> length(all_platforms) - nrow(base_df)
[1] 213

これらのゲームはプラットフォームごとにどのように分けられていますか？トップを見てみましょう。







ゲームの数に関しては、PCが最初の場所であると予想され、次に（私にとって）まったく予想外に、iOSが登場し、現在の世代のすべてのコンソールを追い越します。また、年ごとの内訳がなくても、世代を重ねるごとにゲーム数が増えていることがわかります。



リリース時間







ごとのゲーム数を見てみましょう-ゲームのリリースの年、半年、月ごと：2019年には、2018年と比較してドローダウンがはっきりと見えます-おそらくMetacriticデータベースはまだ補充されますが、これまでのところ、違いはかなり顕著です。 2020年の結果を見るのは興味深いでしょう。



予想されるゲーム数の年々の増加に加えて、年の後半がやや人気があることも明らかです-年末年始のゲームをリリースする戦略が明確に読まれています（むしろ、特定の「遅れ」のあるリリース-10月から11月にリリースされるので、ゲームはプレスを集める時間があります推奨事項）。メタクリティックデータに基づいてそのような戦略の成功について言うことは不可能です-あなたは販売データを見る必要があります、しかし出版社のこの一貫した行動はあなたにその有効性を信じさせます。

今年の前半にはそのような明らかなピークはありません-結局のところ、クリスマス/新年の休日は世界で最も普遍的なお祝いであり、明らかに贈り物に関連しています。



それは面白いです：metacriticデータベースでは、18のゲームだけが完全なリリース日を持っていません。 17個はPCで、もう1個はWii Uでのゲームです。4個は年が示され、もう1個は「TBA2011」のステータスで、残りはTBAまたはTBA-早期アクセスです。そのような印象的なベースには悪くありません！

残りの96,505エントリのうち、25,943（26.9％）が批評家の評価、29,129（30.2％）がユーザーの評価、20,739（21.5％）のゲームが両方の評価を持っています。

: 1/5 metacrtitic.com , . , 20 – , . , metacritic.com ( metacritic.com, , ). , (, ), . , , – metascore, .

エントリ数、評価されたゲームの割合に関する情報（プラットフォーム名とバーの間に数字が入った灰色のラベル-色付きの塗りつぶしでも表示されます）。







また、各プラットフォームでの独占のシェアを確認することにも興味がありました。ここでも、PCとiOSがリーダーです-PCは明らかにプラットフォームの特性によるものです（コンソールと同様の意味でプラットフォームホルダーがないため、開発者はプラットフォームホルダーに何も負っていません）そしてiOSは、モバイルゲームが完全に別の世界であり、古典的なゲームと部分的にしか交差していないという事実によるものです（少なくともプラットフォームでリリースされたタイトルの意味では）。さらに、新世代ほどマルチプラットフォームのゲームが搭載されていることがはっきりとわかります。ただし、ニンテンドーはここで際立っており、ポートフォリオには多くのポータブルコンソールがあり、独自の専用シリーズがあります。発信世代のメインコンソールであるPS4とXboxOneが、リストを完成させていることに注意してください。ほぼ同じ結果を示しています-それぞれ12％と11％の独占。ただし、プラットフォームで公開されているゲームの数を考慮に入れることが重要です。この指標では、ソニーのコンソールがマイクロソフトのコンソールよりも進んでいます。したがって、ここでは独占の絶対数が多くなっています。ただし、一般的に、ポリシーは同等です。ただし、Redmondの会社は、プラットフォームでのみ利用可能なゲームのマーケティングサポートに費やす費用が少なくなっています。







以下は、評価の分布のグラフです（ユーザーの評価は100ポイントのスケールに縮小されています）-評価にまったく違いがないとは言えませんが、非常に近いです。







スコアの違いについて明確な結論を出すために、平均スコアをペアのtテストと比較します（同じオブジェクトの2つの特徴の平均値を比較しているため）。これとは別に、与えられた平均はゲームの評価の数によって重み付けされていることに注意してください。結果（データベースのサイズを考慮に入れる）は予想されますが、違いは重要です。

> t.test(x = both_scores$UserScore * 10,
       y = both_scores$MetaScore,  
       paired = TRUE)
	Paired t-test

data:  both_scores$UserScore * 10 and both_scores$MetaScore
t = -17.603, df = 20738, p-value < 2.2e-16
alternative hypothesis: true difference in means is not equal to 0
95 percent confidence interval:
 -1.823471 -1.458075
sample estimates:
mean of the differences 
              -1.640773

この段階で、2つの結論が示唆されています。

1. ソースに関係なく、評価の分布は右にシフトされ、10ポイントのスケールは非常に限定的に使用されます。ゲームの評価は、スケールの上部に向かう傾向があります。
2. ユーザーと批評家はゲームを異なる方法で評価する傾向があります-平均して、ユーザースコアは100ポイントスケールでMetaScoreより約1.6低くなります（ただし、これらの評価の消費者の1人にとってはわずかな違いかもしれません-プレーヤーは購入する前にゲームのアイデアを得ようとします）。

次は何ですか？ずっと行きましょう。

不良になる

まず、ヒストグラムを実物大で見てみたいと思います。







グラフにはいくつか興味深いことがあります。いくつかの見積もりは、隣接する見積もりよりも明らかに一般的です。これは「丸い」数字で非常に理解できます-40、50、70ポイントはユーザーに人気があります。グラフは、ゲームが79ポイントのスコアを獲得する可能性が低いことを明確に示しています。この値に達した場合、専門的にレビューを書く人にも、単に意見を共有する人にも、追加のスコアを投げることは残念ではありません。しかし、それを引っ張ることができない場合、ゲームはおそらく1ポイント低いグレードを受け取ります。したがって、ポイントのピークは8または3で終わります。誰もがかなりの数を愛しています！



さらにプログラムでは、2001年から始まる各年の推定値の分布のヒストグラム（率直に言って、私は他の理由ではなく視覚化の美しさに導かれました）。ここでは、2001年の法外な83ポイントから2020年の恐ろしい47ポイントまで、平均ユーザー評価の驚くべき旅を目の当たりにしています-後者に戻りますが、今のところ、ベースを収集した時点でちょうど半年が経過し、一部のゲームはまだリリースされていないことを覚えておいてください。このような背景から、批評家の評価は非常に安定しており、2007年の70ポイントから2020年の75ポイントまで、まだ終わっていません。







プラットフォームはどうですか？ここでは、批評家のお気に入りがすでにはっきりと表示されています。これらはNintendo 64で公開されたゲームです（ただし、データベースには両方のソースからの見積もりで94しかありません）、そして…iOS、奇妙なことに十分です。ゲーマーの共感はレトロな面に戻ってきました-PlayStationの平均86ポイントとPS4ゲームのわずか66ポイントを比較してください！同様のダイナミクスがXboxファミリーにも見られます。これとは別に、NintendoSwitchとXbox360は、批評家とユーザーの間で印象的な合意を示しています。







おそらく、古いゲームのユーザー評価が高い理由は心理学の面にあります-私の仮説は、人々がゲーム自体ではなく、ゲームの思い出と幸せな子供時代を評価して、リリースから数年、場合によっては数十年後に評価を与えたということです。ただし、この仮説を確認または反証するには、ユーザー調査ごとにメタデータを取得する必要があります。既存の推論の基盤では不十分です。



年ごとの分析に戻りましょう。







ここでも、より明確に、批評家の評価の安定性と平均ユーザー評価の絶え間ない低下を観察できます。2020年には最大47ポイントです。直感的には、推定値間の相関は減少するはずです-相関のあるグラフを見る価値があります。







灰色の線は、データベース内のすべての観測値（2000年より前にリリースされたゲームを含む）の一般的な相関関係を示しています。一見したところ、10年半ば以降にリリースされたゲームの評価はますます離れており、批評家やプレイヤーの意見はますます異なっています。



ただし、2020年の平均プレーヤー評価は依然として異常に低くなっています。そして続行する前に、あなたはそれに対処する必要があります。



ユーザーレビューと批評家レビューの数のスキャッタープロットを作成しましょう。私は意図的にプレイヤーの評価の数を対数でスケールさせませんでした-このようにして、2つの極端な外れ値がはるかによく読み取られます。







ユーザーレビューの数が最大の2つのポイントに注意してください-Warcraft3：ReforgedとThe Last of Us：パート2。どちらのゲームも平均ユーザー評価が低くなっています（評価数の点でトップ10の評価の低い隣人とは対照的です）。また、評価の数自体が、その年の平均成績を計算する際の係数として機能します。したがって、どちらも平均成績を大幅に過小評価しています。以下は言及されたトップ10です-そしてたまたま両方のゲームが2020年にリリースされました。







どちらのゲームも、いわゆる「レビュー爆撃」の明らかな犠牲者です。ただし、Warcraft 3：Reforgedは、原則として、批評家を含むコミュニティ全体にとって非常に大きな失望です。しかし、プレーヤーの評価と批評家の間のリンクについて話し続けることによって高すぎるまたは低すぎる評価を削除することは賢明ではありません。これらの2つのゲームだけが除外された場合はどうなりますか？さて、2020年の平均ユーザー評価は著しく上昇します。ただし、相関係数への影響は実際には目立たないでしょう。平均とは異なり、その計算ではゲームの「重み」が考慮されていません。











評価が多すぎるすべてのゲームを分析から除外するとどうなりますか？そして、どれくらいが大きすぎますか？変数を詳しく見てみましょう。

> summary(both_scores$UserReviews)
    Min.  1st Qu.   Median     Mean  3rd Qu.     Max. 
     4.0     11.0     25.0    144.2     75.0 104424.0

異常値を見つけるための古典的な基準の1つは、4分の1の範囲の1.5のしきい値です。私たちの場合-（75-11）* 1.5 = 96（これは3番目の四分位の値に追加する必要があります）。 「下から」の排出はありません。ユーザースコアは、少なくとも4つのレビューがある場合に設定されますが、上から2768のゲームを削除し、17971のエントリを残します。











2011年以降は平均ユーザー評価が70を下回り、2017年以降は相関関係が徐々に低下していることがわかりますが、2000年から2020年にかけて、2005年、2010年から2011年、2015年にかけて、同様の相関指標が以前に見られたことは注目に値します。 2016年。しかし、減少は決して体系的ではありませんでした-その兆候は2017年から2020年の期間に顕著です。考えられる理由は2つあります。1つは、レビュー爆撃の寄与を過大評価する可能性があることです。第二に、私はその規模を過小評価する可能性があり、ユーザーレビューの許容最大数の基準をさらに下げる必要があります。それにもかかわらず、この資料のために、私は最初の仮説に固執し、可能な議論として2番目の検証を残します。



すでに上で説明したすべてに加えて、評価の違いに直接注目したいと思います。この計算でも、平均ユーザー評価に10を掛けました。







この資料で初めて、その形状が通常に似た分布が表示されます（理論的には研究者分布の正規性を確認する必要がありますが、観測値の選択のランダム性と十分に大きなベースを考えると、標準の統計ツールを使用して正規分布との違いを無視できるという警告があります）-これはローカルの成功と見なすことができます！ただし、正式なチェックで成功を統合することはできません。ピアソンのChi-squareで正規性をチェックすると、0.05よりも大幅に低いp値が返されます。

> Diff <- unlist(both_scores %>%
  mutate(ReleaseDate = year(ReleaseDate), Diff = UserScore * 10 - MetaScore) %>%
  select(Diff))
> nortest::pearson.test(Diff)
	Pearson chi-square normality test
data:  Diff
P = 35078, p-value < 2.2e-16

Metacritic.comで両方の評価が付けられたゲームの分析に基づく結論は、ゲーム全般に一般化されるべきではないことを自覚するために、受け入れるだけです。この考えを踏まえて、分析を続けてください。



ゲームのリリース年ごとの評価の違いを見てみましょう。











最初のグラフを解釈するのが難しい場合、2番目のグラフは以前に示された傾向を明確に示しています-プレーヤーは「古い」ゲームに好意的です-そして新しいゲームをマスコミよりも悪く評価する傾向があります。興味深いことに、2009年から2010年にリリースされたゲームの平均差はゼロに非常に近く、10年前にリリースされたゲームを見てください。ただし、2010年の見積もり間の相関は比較的低いことを覚えておく価値があります。今年は、見積もりが異なる実際のゲーム数は多いようですが、差のベクトルは互いにバランスが取れています。



最後に、プラットフォームを見てみましょう-個別に、そしてゲームのリリース年に関係なく：











89タイトルのNintendo64を除外すると、一般的に、状況はさまざまなプラットフォーム間で類似していると予想されます。ただし、ゼロ差のピークは変動します。たとえば、Nintendo Switchのゲームの評価はより一貫性があり、iOSのゲームの評価はスケールで「不鮮明」であり、分布の「ピーク」は約-20の値である可能性が高くなります。プラットフォームは、不満を持っているプレーヤーの数の点で明確なリーダーです。以下のグラフはこれを確認するだけです。ちなみに、ここでは、発信世代のメインコンソールもPS4やXboxOneユーザーを嫌う「リーダー」の1人です。任天堂キャンプでは、すべてが雲ひとつないわけではありませんが、バランスはマイナスです。



記事の冒頭で下のグラフをすでにご覧になっているかもしれませんが、このバージョンではさらに多くのゲームがあり、iOSプラットフォームが追加されています。これは、評価の関連性の点で名誉ある最後の場所になります。







おそらく、これに立ち止まって結論に移る価値があります。

まとめ

世界はブロンズで鋳造されたり、石から彫られたりすることはありません。彼について何かが変わっています。



明らかに、ゲーム自体は変化しています。プレイヤーも変化します-彼らの意見の数と多様性は成長しています。また、レビュー業界が、平均スコアを約7.5ポイントに維持しながら、いくつかの（口に出さないものの）基準を順守しようとすると、プレーヤーは状況を明確に異なる方法で評価します-20年間隔でリリースされたゲーム（2000年と2020年）の場合、平均ユーザー評価はMetacriticは8.5から6.9に低下しました-深刻な損失です！



これの背後にある理由は何ですか？私の仮説：

1. メタクリティックゲーマーは、プロの批評家によって、子供時代に過ごしたゲームをよりよく評価する傾向があります-ノスタルジックな効果は（おそらく）存在しないか、または一掃されます。
2. , , Metacritic, - , «» 7.5 ;
3. , Metacritic – , , «» ( ).

そのうちの2つを検証でき、アプローチはほぼ同じです。ある程度の努力を払うことで、ゲームのリリースから長い時間の評価が、ゲームのリリース後の最初の数日/数週間の評価よりも高いかどうかを確認できます。レビュー爆撃の影響を排除するには、レビューを公開する機会が利用可能になってから最初の数時間で、非常に多くの評価を持つゲームを「クリーンアップ」する価値があります。または、少なくとも最初のユーザー評価を無視します。



2番目の仮説の検証には、ゲームの配列全体を再評価するために膨大な量の作業が必要です（批評家の客観性に疑問を投げかけるため、この評価に依存する方法はありません）。おそらく良い指標はゲーム予算に対する料金の比率ですが、出版社はそのような数字を共有することを躊躇しています-そしてマーケティング効果はキャンセルされていません（同じタイプのアスリートやUbisoftとActivision Blizzardのコンベヤーを長い間非難することができますが、これらのゲームはまだ毎年十分に販売されています大規模版）。

私たちは見ます。