newspaper on python-kirjasto Newspaper3k käyttämä user agent, jolla saa haettua itselleen webisivuilta koko artikkelin. Se ei siis itsessään ole hyvä tai paha, vaan merkitys riippuu käytöstä. Minulla sitä ovat käyttäneet ainoastaan kiinalaiset botit sekä pari (oletettavasti) yhdysvaltalaista, joten en täysin ymmärrä mitä on haettu.

Periaatteessa kyseessä on työkalu, jolla saisi yhden tavan käyttää sisältöä, mutta koska sitä on käytetty wgetin tapaan ryömimään koko sisältöä läpi ja koska ainoat tapaamani tapaukset ovat olleet väärän kielialueen IP-osoitteita, niin olen estänyt sen.

Koska kyseessä on kirjasto, niin sitä ei voi estää IP-osoitteella. Ainoa tapa on estää user agent joko webserverillä tai reverse proxyssä, kuten Varnishin avulla.

• Luokitus: kirjasto