از آنجا که به User-Agent نمی‌شود اعتماد کرد و نیز گوگل خود رنج خاص یا فهرستی از IP‌ها را برای Bot هایش اعلام نمی‌کند، مناسب‌ترین روش به نظر می‌آید.

و همچنین است برای msnbot:

http://blogs.bing.com/webmaster/2012/08/31/how-to-verify-that-bingbot-is-bingbot/