Cine se pricepe la spiders?

[admin]

Am observat in ultimul timp ca ne viziteaza din ce in ce mai multi spiders.
Vreau si eu un sfat impartial. Sa-ii blochez sau nu?
Inteleg Google sau yahoo dar avem si spiders din japonia, usa, rusia. Ce pana mea cauta si cand se plictisesc de cautat?

exemple:
crawl-11c.cuil.com
66-249-71-184.googlebot.com
b3090861.crawl.yahoo.net
BaiDuSpider
Yandex

[Innrain]

Baidu e "google" local pentru piata chineza si yandex sunt rusii. cuil e facut de irlandezi.
forumul are un pageranl bunisor si atunci e tinta multor spidere si atacuri. "Noblesse oblige"

[alin]

acum ceva ani am fost pus in fata aceeasi problema. dupa mai multe discutii am ajuns la concluzia sa lasam numai google, yahoo si microsoft sa indexeze.

Alin

[mishulyna]

Am observat in ultimul timp ca ne viziteaza din ce in ce mai multi spiders.
Vreau si eu un sfat impartial. Sa-ii blochez sau nu?
Inteleg Google sau yahoo dar avem si spiders din japonia, usa, rusia. Ce pana mea cauta si cand se plictisesc de cautat?


Daca i-ai blocat pe contul tau de admin deja e suficient! Acum vreun an, cautând ceva pe Google am ajuns în contul adminului de pe-un site, nu mai tin minte daca l-am avertizat prin @contact sa-si securizeze contul... :D
Baidu bântuie linistit pe forumul românilor din Belgia, n-a creat probleme niciodata (înca).

[DMC]

Scuze pentru raspunsul "intarziat" @Admin :) Abia acum mai cotrobai si eu prin forum. In legatura cu acestia spideri, boti, roboti, etc. Din cate stiu eu, vBulletin este un CMS foarte bun, si nu cred ca ai putea avea probleme cu acesti spideri. Pur si simplu nu au ce sa iti faca atata timp cat folosesti CAPTCHA la forum. Majoritatea din ei sunt crawleri care iti indexeaza site-ul. Functioneaza dupa un principiu destul de simplu: mereu urmeaza calea linkurilor. Adica daca exista un link pe un alt site care duca catre site-ul tau, in momentul in care acel crawler il depisteaza, vine si la tine pe site. Aici culege informatii despre site (paginile in care "se taraste"), iar in momentul in care "se intoarce acasa", toate aceste informatii culese din toate site-urile, le "depoziteaza" intr-o baza de date. Aceasta baza de date este de fapt o imensa colectie de site-uri din intreaga lume. Asa apare orice site in Google, Yahoo, Bing, etc. Sa nu crezi ca numai primele 4-5 motoare de cautare sunt importante. Acum ramane la latitudinea fiecarui webmaster cati si ce crawleri accepta pentru site-ul lor.
Sper ca iti va fii de folos aceasta informatie.
O zi buna

[admin]

Multam fain pentru input DMC! intre timp am cam rezolvat cu spiderii...

Imi pare bine ca mai avem un specialist printre noi ;)

[DMC]

Cu placere Paul. Sunt incantat ca pot contribui cu sfaturi de genul celui de mai sus. Voi incerca sa raspund cat mai des celor care doresc astfel de informatii.
O zi buna