Основное правило web-оптимизации №1.
Любой поисковый сервер всегда пытается отразить самую релевантную (с точки зрения самого сервера) информацию об имеющихся в его базе данных сайтах в ответ на отдельный запрос на основании критериев классификации, установленных самим поисковым сервером. Это главная цель существования поисковой машины.

Основное правило web-оптимизации №2.
При наличии времени и желания даже самый глупый человек всегда сможет одолеть самый умный компьютер.

Вы случайно не видели фильм «Парк Юрского периода»? В нем Джефф Голдблум говорит замечательные слова: «Жизнь найдет выход», которые неплохо описывают суть этого правила.

Все, что бы ни делал использующий роботов-пауков поисковый сервер, имеет свою модель.  Поисковик делает все, имея определенную цель. Не важно, сколько переменных или насколько сложным кажется алгоритм, у него всегда есть модель, которую может понять любой человек, который может достаточно времени потратить на проверку всех переменных. Если вам слишком сложно это понять, значит, вы правы на 100%. 
Роботы-пауки – это всего-навсего компьютерные программы, они мертвы. У них не бывает сомнений или предчувствий. У них отсутствует интуиция. Они не могут испугаться или устать. Они не сходят с ума от любви. Если их правильно запрограммировали, то они не сомневаются и не могут принести что-либо в жертву во имя великого добра. Они В ТОЧНОСТИ делают то, что им было приказано. Они являются лишь инструментами и не более того.
Как только вы это поймете, то у вас появится огромное преимущество перед машинами. Вы можете догадываться, представлять, делать вывод о том, что пытается сделать машина, а затем догадаться о ее возможных ответных действиях. Вы можете очень быстро проверять свои собственные теории и изменять их, а машине потребуется много времени и ресурсов, чтобы изменить свой алгоритм в попытке противодействовать действиям человека.

продолжение