Сорри, если баян - не нашел толком ничего.
Всегда интересовало как поисковик определяет уникальность контента? Индексирует страницу, а затем сравнивает ее контент со всеми ранее проиндексироваными страницами?!? С технической точки зрения - каждую новую страницу сравнивать с миллиардами других - это реально разве?