Из-за неправильных настроек сайта, на нем могут непроизвольно возникать различные с точки зрения роботов поисковых систем URL, содержимое которых полностью идентично. Самый распространенный пример таких дубликатов: URL страниц сайта со слешем в конце и без него. Например, эта страница одинаково верно открывается как по URL http://www.adlabs.ru/doc/promo/optimization/analysis/dublikat/, так и по URL http://www.adlabs.ru/doc/promo/optimization/analysis/dublikat.

С точки зрения поисковых систем, изначально эти два URL рассматриваются как две абсолютно различные страницы. Поэтому, они будут индексировать оба варианта. И только потом, когда они начнут процесс удаления из своего индекса дубликатов страниц сайта, дублирующиеся URL исчезнут. Однако, в этот момент может произойти неприятность - поисковые системы оставят в своем индексе неправильные URL (правда, в последнее время поисковые системы в этом случае ошибаются крайне редко). И в этом случае сайт может существенно потерять свои позиции по тем или иным поисковым запросам. Чтобы этого не произошло, необходимо еще на начальном этапе работ решить эту проблему.

Для всех поисковых систем проблема решается посредством настройки 301-го редиректа по всем неправильным URL путем их "переброса" на правильные.