• ニコニコランキングメーカーのAPI検索でジャンルを指定する

    2020-02-11 22:009
    スナップショット検索APIで、フィルター条件にジャンルを指定できるようになっていたので、ニコニコランキングメーカーを対応してみました。
    取得方法が「API」の時のみ有効になります。 【2/16】「HTML」の時にも対応しました。
    「全ジャンル」を選ぶと今まで通り全てのジャンルが対象になります。
    (ジャンル未設定を含む)


    ジャンルを絞り込みたいときにお試しください。
    パスワードは「NRM」です。
    https://u6.getuploader.com/ondouru/download/531/nicorank30514.zip

    【2/16追記】
    HTML検索で投稿日時を指定した場合も事前に絞り込んで検索するようにしました。
    1600件を超える場合の絞り込みにジャンルと投稿日時を利用できます。

    【2/19追記】
    nrmcのジャンル指定検索呼び出しに対応しました。


  • 広告
  • ニコニコランキングメーカーのAPI検索で10万件以上取得する

    2019-07-08 21:3049
    7月2日にスナップショット検索APIで仕様変更があり、取得できる件数が10万までになったとご報告を頂きました。
    正確にはAPIの取得オフセットに指定できる値が最大10万となりました。

    APIは1回に100件までしかデータを返しませんので、取得オフセットを100ずつ大きくする事ですべてのデータを取得できますが、あまり大きな値をオフセットに指定すると負荷が高くなるため、予防措置を設けたそうです。

    そこで、1回に取得した100件の検索順の最小値(または最大値)を、次の開始条件としてフィルターに指定し、APIを呼び出すことにしました。
    同じ値の動画が複数存在する場合は、次の動画から取得するようオフセットを調整します。
    この方法により、取得オフセットを最小にしたまま検索が続けられるようになりました。

    なお今回の変更で、検索順をコメントが新しい順、または古い順にすると、コメント無しの動画が取得できなくなりました。
    これはAPIの仕様なのか不具合なのか、公式窓口に確認中です。
    →【7月19日】公式より仕様と回答がありました。

    「途中経過を保存」には対応していません。 【7月9日】対応しました。

    ちなみに、上級者向け1タグの「タグ検索の間隔」をデフォルト値の8秒より小さくすると、取得時間を早めることができます。(最小値=3秒)
    ただし、サーバー負荷が高くなるので多用はお控えください。

    また、この変更と合わせて、ランキングデータファイルの11列目にサムネURL、12列目にジャンルを出力するようにしました。


    パスワードは「NRM」です。
    https://u6.getuploader.com/ondouru/download/527/nicorank30511.zip


    【7月10日追記】
    API検索で、条件指定時に必要なページのみ取得するようにしました。
    また、条件指定時に検索が終わらない不具合がありましたので併せて修正しました。

    【7月24日追記】
    ランキング過去ログがアクセス拒否時にエラーとなる問題に対応しました。

    【8月1日追記】
    API検索で、大量データ出力時のメモリー不足に対応しました。

    【8月18日追記】
    API検索で、titleがnullで返ってくる事象に対応しました。

    【9月3日追記】
    起動時の403エラーに対応しました。

    【9月29日追記】
    差分作成時もサムネURL、ジャンルを引き継ぐようにしました。
    また、ランキングファイルのカスタマイズにも対応しました。
    サムネURLは「thumbnail_url」、ジャンルは「genre」をご指定ください。

    【11月30日追記】
    公式動画(動画IDがsoで始まる動画)からスレッドIDへリダイレクトされなくなり、
    サムネイルの取得でエラーが発生していました。
    公式動画も一般動画と同じ方法で取得するようにしました。

    【12月2日追記】
    ランキングダウンロードで、ファイル名に使用できない文字がタグに含まれると、
    エラーとなっていました。
    使用できない文字を除去して保存するようにしました。

    【1月19日追記】
    ランキングダウンロードでRSS指定時に、URLで使用できない文字を含む人気のタグが
    エラーとなっていました。
    人気のタグをURLエンコードして取得するようにしました。

    【2月8日追記】
    HTMLのタグ検索で最終ページを超えると404エラーが返ってくる仕様変更に対応しました。


  • ニコニコランキングメーカーで新ランキングをDLする

    2019-06-28 22:1310
    ニコニコランキングメーカーのランキングDLを、6月26日から実装された新ランキングに対応しました。

    リアルタイムで更新されるランキングRSS(XMLファイル)と、毎日0時頃に保存されるランキング過去ログファイル(jsonファイル)がDLできます。

    ファイルの種類でRSSを選択した場合、当日有効なジャンルと人気のタグを表示します。
    全ジャンルを選ぶと、全てのジャンルと人気のタグを選択リストに表示します。
    ジャンルリストを選ぶと、そのジャンルと人気のタグのみが選択リストに表示します。



    ファイルの種類で過去ログを選択した場合、日付と生成時間(0時 or 5時)が指定出来ます。
    指定した日に存在したジャンルと人気のタグを表示します。
    なお、過去ログは毎時ランキングが存在しませんので、操作不可となります。


    各期間で指定できる日付は下記の通りです。
    ・24時間・・・2019/06/11~当日
    ・週間 ・・・2019/06/17~当日
    ・月間 ・・・2019/07/01~当日
    ・全期間・・・2019/06/11~当日

    週間は指定した日の直前の月曜日の、月間は指定月1日の過去ログを取得します。
    生成時間で5時を指定した場合は、週間と月間は取得できません。

    人気のタグは、RSSは毎時と24時間、過去ログは24時間しかランキングデータがないので、
    それ以外の期間が指定されていた場合、RSSでは直前に取得したランキングを取得し、
    過去ログでは無視されます。


    DLしたファイルはリスト作成・更新タブのランキング解析でランキングデータファイルにしてください。
    ファイルはランキング順になっていますので、「並び替え」は「しない」をお勧めします。

    なお、新ランキングでは期間ポイントが取得できませんので、差分作成タグを利用するか、
    ご自身で差分値を計算してご利用ください。

    パスワードは「NRM」です。
    https://u6.getuploader.com/ondouru/download/516/nicorank3053.zip

    【6/29追記】
    過去ログの生成時間を0時か5時で選べるようにしました。
    また、複数の過去ログを解析した時に動画が重複して出力されていましたので修正しました。

    【7月24日追記】
    ランキング過去ログがアクセス拒否時にエラーとなる問題に対応しました。

    【12月2日追記】
    ファイル名に使用できない文字がタグに含まれる場合に対応しました。
    こちらの記事より最新版を取得してください。 → ar1784090