AdsTxtCrawler (ja saman muodon eri kirjainkokovariaatiot) on yleinen useiden eri toimijoiden käyttämä user agent boteille ja crawlereille, jotka lukevat vähintään ads.txt tiedoston, mutta usein keräävät SEO- ja markkinoititarkoituksiin avainsanoja ja muuta sisältöä.

Kyseessä on pääsääntöisesti sinänsä haitaton staattisen sisällön kerääjä, mutta sillä on yritetty aika ajoin meikata piiloon myös pahantahtoisempia yrityksiä.

Koska yksikään SEO/avainsana/ads.txt kerääjä ei palvele millään tavalla sivistoa itsessään ja osa on todella aggressiivisia, niin AdsTxtCrawler on syytä estää serverillä, .htaccess-tiedostossa tai reverse proxyssä. Se ei kunnioita robots.txt tiedostoa.

• Luokittelu: SEO/markkinointi