Google Blogより・・・
Webmaster-friendly
Googleの新しい実験が開始されました。
Google Sitemaps (BETA)
GoogleのＷｅｂインデックスの為の適用範囲を拡張し、インデックス化の時間を改良する為の実験のようです。
Pythonで書かれたモジュールでXMLを作り、それをGoogleのページでAggregateするように設定するかPingで設定出来るようです。
このXMLですが、access_logからpriority付けをしているところが気になります。 trustrankへの布石でしょうか？
[追記]
こんな事も出来ますね！（私はPythonのライブラリを使っていますが・・・）
Google Sitemaps using Movable Type
・・・
別件ですが、あのNutchがLuceneのプロジェクトに入るそうで・・・
http://www.nutch.org/のＵＲＬがhttp://lucene.apache.org/nutch/へリダイレクトされます。