3. ウェブを収集するしくみ

収集ロボットによる収集

収集ロボットは、最初にスタート地点となるウェブページ（起点URL）にアクセスをします。そして、そのページのhtmlファイルを収集すると同時に、htmlファイル内のソースを解析して文書、画像、音声、動画、スタイルシートなどのファイルを収集します。さらにそこからリンクしているページに移動して、同様の処理を繰り返し行います。

このようにリンクをたどりながらページを移動し続け、新たなリンク先がなくなるまで処理を続けます（収集ロボット Heritrix）。

収集ロボットによるウェブサイト収集のイメージ

ウェブページのつくり

ウェブページは、一見するとページが１枚だけあるように見えますが、実際にはhtmlファイルや画像ファイル、スタイルシート、スクリプトファイルなど、多数のファイルが組み合わさって構成されています。

例えば、2014年9月17日時点の国立国会図書館のトップページは以下のように、1つのhtmlファイル、5つのCSSファイル、8つのJavaScriptファイル、61の画像ファイル、合計75のファイルから構成されています。

収集ロボットがこれら全てのファイルを漏れなく収集することで、ウェブページをオリジナルと同じように再現することができるのです。

国立国会図書館のトップページ（2014年9月17日時点）