7. 収集したウェブサイトの組織化

日付とURLの組み合わせ

例）http://web.archive.org/web/20040618115539/http://www.meti.go.jp/

2004年6月18日11時55分39秒に収集したhttp://www.meti.go.jp/のページということを表しています。

URLを付与するイメージ（日付とURLの組み合わせ）

識別子とURLの組み合わせ

例）http://warp.da.ndl.go.jp/info:ndljp/pid/285403/www.meti.go.jp/

保存日ごとに割り振られた識別子（info:ndljp/pid/285403）と、オリジナルURLのhttp://www.meti.go.jp/を組み合わせています。

URLを付与するイメージ（識別子とURLの組み合わせ）

アーカイブの規模

バルク収集の場合、膨大な収集を行うため粒度の細かいメタデータを付与しづらいのに対し、選択収集の場合、収集量は小規模なため、比較的細かいメタデータを付与しやすい傾向があります。

需要と供給のバランス

利用する側が求めるメタデータの粒度に対し、提供する側がそれに対してどこまで応えられるかという視点は重要です。

利用する側が詳細なメタデータを求める場合、提供する側はできる限りその要求に沿った粒度のメタデータを用意するのが理想です。

しかし、ウェブコンテンツの量が膨大であること、人的・財政的制約があることなどから、全てのウェブコンテンツに詳細なメタデータを人的に付与するのは現実的ではありません。

将来的には、セマンティック・ウェブなどの技術を活用して、収集したウェブサイトの内容をシステムが理解し、自動でメタデータを付与することが期待されます。また、ソーシャルタギングのように、閲覧しているコンテンツに対しユーザ自身が主題等のメタデータを付与する仕組みを導入することも考えられます。

対象コンテンツ

対象コンテンツによっても適切な粒度は異なります。

ターゲット単位で収集を行う場合、収集前にターゲットのタイトル・公開者（出版者）・起点URL等のメタデータをターゲットに付与します。このメタデータ、若しくは項目が追加されたメタデータが、そのままウェブサイト閲覧時の検索においても流用されます。効率よく収集ができる単位で付与されているため、粒度は粗くなりがちです。

一方で、精度の高い検索結果が求められるコンテンツに対しては、粒度の細かいメタデータを集中的に付与することもあります。例えば、ウェブアーカイブの多くは国立図書館が実施していますが、図書館としては、電子雑誌の論文記事の単位でメタデータを付与するのが望ましいでしょう。

国立国会図書館では、保存したウェブサイトの中から白書、会議資料、報告書、年報、論文などの刊行物を取り出し、それらに対しメタデータを付与しています。こうすることで、ウェブサイト中に散在する刊行物を効率よく検索・閲覧でき、従来の紙の刊行物との連続的なアクセスも保障されます。これらは国立国会図書館デジタルコレクションから検索・閲覧できます。

国立国会図書館デジタルコレクション
https://dl.ndl.go.jp

メタデータと全文検索の補完関係

検索をする場合、メタデータだけではそれより細かい情報はヒットしません。そこで、全文検索インデクスを作成し、ウェブサイト本文をより細かく検索できるようにします。世界のウェブアーカイブ機関の約6割が、この全文検索の機能を提供しています。[ⅰ]

多くのウェブアーカイブで使われている全文検索エンジン Solrは、検索結果を適合度順に表示することができますが、同時に不要な情報も数多く表示されます。

メタデータによる粗くてノイズの少ない検索と、全文検索による細かくてノイズの多い検索、それぞれの特徴を活かしながら検索サービスを提供することが必要です。

検索のイメージ

WARPの検索サービス

WARPでは、メタデータ検索と全文検索を組み合わせた検索サービスを提供しています。検索する際は、トップページのキーワード検索欄に単語を入力し検索します。

インターネット資料収集保存事業（WARP）の検索画面

検索結果画面では、メタデータの検索結果と全文検索の結果が同時に表示され、タブで両者を切り換えることができます。

インターネット資料収集保存事業（WARP）の検索結果画面

インデキシングの維持

全文検索サービスを提供するためには、高い全文検索能力を備え、かつ高速なインデキシングが可能な検索サーバが必要です。また、日々保存されるウェブサイトは膨大な数に上るため、それを処理・保存できるリソース・技術も必要です。