Hugging Faceで公開されたTikTok動画約56億本のデータセットは、映像本体ではなく、キャプションや反応数などを収めたメタデータです。データを利用・評価する際は、映像が含まれない収録範囲、CC BY-NC 4.0の非商用ライセンス、公開者側が説明する収集方法とTikTokの米国利用規約3.4条を、別々の条件として確認する必要があります。
- 公開TikTok動画約56億本、460GBのメタデータがHugging Faceで公開
- 映像は含まれず、投稿テキスト、音源ID、TikTok Shop ID、各種反応数を収録
- 収録項目の組み合わせは、拡散やTikTok Shopでの売れ行きを予測するモデル、短尺動画の文体を学ぶ言語モデルの素材になり得る
- 取得可能な公開状態と、非商用ライセンスや収集方法の規約上の論点は分けて確認する必要がある
約56億本・460GBのTikTok動画メタデータ公開
機械学習用のモデルやデータセットを共有するHugging Faceで、datasocialアカウント名のデータセットが公開されています。公開者をhashfunctionと名乗る開発者とする説明では、対象は2014年7月から2026年10月までの公開TikTok動画約56億本です。
データセット全体の容量は460GBで、月ごとに分けられたParquet形式のファイルとして保存されています。アクセス用のゲートは設けられておらず、取得できる状態ですが、データセットに付されたライセンスはCC BY-NC 4.0です。入手できることと、ライセンスが定める非商用の利用条件は分けて確認する必要があります。
映像を含まないメタデータと学習素材としての意味
公開されたのは映像そのものではなく、動画に付随する説明文や識別子、反応数をまとめたメタデータです。各行にはキャプション、ハッシュタグ、サウンドID、画面上のテキストに加え、TikTok Shopの商品IDと出品者IDが含まれるとされています。
再生数、いいね数、コメント数、シェア数、保存数、ダウンロード数も収録対象です。AI生成動画かどうか、For Youページへの表示対象から外されたかどうかといったTikTok側のラベルも含まれますが、アーカイブ由来の古い動画ではAI生成フラグが空欄である場合が多いと説明されています。
キャプション、ハッシュタグ、サウンドIDが示す投稿の表現と、反応数、TikTok Shopの商品・出品者IDを組み合わせることで、何が拡散するかやTikTok Shopで何が売れるかを予測するモデルの素材になり得ます。また、短尺動画で使われる言葉や書き方を学ぶ言語モデルの素材にもなります。映像を含まないという収録範囲は、こうした投稿に付随する情報を分析・学習に使う場合の前提です。
公開者側の収集方法説明とTikTok米国利用規約3.4条
DataSocialの説明では、収集にはログインを使わず、一般公開されていないTikTokのモバイルAPIへ接続する仕組みを用いたとされています。公開者側は、3週間でクリエイタープロフィール32億3,000万件、動画59億4,000万本、コメント28億件を収集したと説明しています。
一方、TikTokの米国利用規約3.4条は、TikTokの書面による承認なしに自動化ソフトウェアでプラットフォームからデータを抽出する行為を禁じています。TikTokのResearch Toolsは、米国、EEA、英国、カナダ、スイスなどの学術機関に所属する要件を満たす研究者と、EUの一部非営利組織を対象とし、申請と承認を必要とする仕組みです。
データセットを利用・評価する側にとっては、公開者側が説明する収集経路が、規約3.4条で定める書面承認のない自動抽出とどう関係するかを、データが公開・取得可能であることとは分けて確認する点が論点になります。TikTokが当該収集を個別に認定・判断したという情報は、ここで示された説明には含まれていません。
CC BY-NC 4.0と商用利用・更新データの案内
データセットのライセンスはCC BY-NC 4.0で、研究および個人利用は無料と案内されています。商用利用、クリエイタープロフィール、日次更新についてはdatasocial.aiへ案内されます。
収集に使ったスクレイパーのソースコードは別途1,699ドルで販売されています。無償で公開されるデータセットと、商用利用や更新データ、収集ツールの扱いは分けられています。
したがって、Hugging Faceで公開され取得できる状態にあることだけで、収集時にTikTokの書面承認があったかどうかや、TikTok側が二次利用を許諾しているかどうかまでが確定するわけではありません。CC BY-NC 4.0はデータセットに付された利用条件であり、収集方法の規約上の評価とは分けて扱う必要があります。
