雑記・よしなしごと

今年はデータをまとめるかどうか考え中

　去年、乗り掛かった舟とばかりにカクヨムコンデータをまとめました。

しかも毎日……。

　今年はどうしましょう。

　毎日でなければ、できそうですが……先週コロナで倒れたことを思うと不安しかない。

■８月にデータの洗いなおしをしてみた

　以前、近況ノートで報告しましたように、把握している全ユーザーの全作品のステータスチェックをしました。

　チェック前：

　作品数：約32万作品

　作者数：約8万2000人

　チェック後：

　作品数：約31万作品

　作者数：約7万5000人

　そう、いつの間にか7000のアカウントが退会していたのです。ここでユーザーではなくアカウントといっているのは、出たり入ったりを頻繁に繰り返している（ルール違反ではないけど、気ままな自由人ですな(^^;）方もいますので、アカウントと呼ぶべきかと。

■全数チェックは困難。ではどうするか

　毎回書いてますが、欲しい情報は12月1日12:00のデータです。この時刻ピッタリにデータを取得することは不可能ですから、直近のデータを取得して補間する必要があります。カクヨムのデータベースさえ読めれば、悩む必要はないのですけどムリなものはムリ。

　といって7万5000の作者と31万の作品を全数チェックすると、ザックリいって250時間かかるわけです。データ収集はパソコンを操作している時間に限って（トラブル対応のため）いますから、日数にするとやはり３週間程度は必要なのです。取得開始と終了までの時間が開くと無意味とまではいえませんが、データとしての価値は低下します。

　考えられる対処方法は、

・過去のカクヨムコンに参加した作者のデータを優先して取得

・直近（３か月とか？）に活動している作者のデータを優先して取得

・処理の分散化（複数のサーバーで深夜に実行。あまり乗り気ではない）

　あたりですかね。とにかく取得範囲を絞りに絞って、２日に１度程度の頻度で巡回できるようにするのが理想です。

■非公開作品のデータが取れない

　これも悩みのタネ。そんなの当たり前じゃんと言われそうですが、ここ１か月の間に公開→非公開となった作品が8000作ほどあるのです。普段の非公開作品数はこれほど多くありません。

　つまり、改稿を経てコンテストに応募してくる「見込み作品群」と想像することができますので、これらのデータも欲しいんですよねぇぇ。頭痛い(>_<)

　より良い方法がないか、もう少し頭をひねってみます。