Rugpjūčio mėnesio pradžioje sulaukiau “malonaus” laiškelio iš serveriai.lt, kuris paprašė susimokėti sąskaitą už išnaudotą srautą. Jei tai būtų įprastinė man situacija – nesukčiau sau galvos. Bet tai, ką pamačiau buvo iš fantastikos srities. Srauto buvo išnaudota net 54GB, kai vidutiniu lankomumu išnaudodavau tik kokius 4GB srauto. Kadangi lankomumas yra nepakilęs įtariau, kad čia yra kažkas blogai ir aš buvau teisus.
Visų pirma kreipiausi į serveriai.lt dėl šios problemos. Iš jų naudos nebuvo jokios. Jie pasakė, kad jų programinė įranga veikia gerai. Ir daugiau nebuvo jiems jokio intereso padėti surasti problemą.
Taigi teko pačiam nagrinėtis situaciją. Iš karto nepavyko surasti problemos, nes ieškojau ne ten kur reikėjo. Bet po šiokių tokių analizių atradau, kad svetainės lankomumo statistikoje yra labai didelis nerastų puslapių kiekis.(1 673 343), kuris ir sugeneravo tuos papildomus ~50GB duomenų. Panagrinėjęs apache log failus atradau įdomius įrašus, kurie kurstė mano smalsumą. Jei įdomu įtartinos eilutės pasirodė šios:
89.116.191.109 – – [30/Aug/2008:12:03:59 +0300] “GET /tag/gmail/+ HTTP/1.1”
404 33216 “-” “Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1;1813)”
89.116.191.109 – – [30/Aug/2008:12:04:02 +0300] “GET /tag/gmail/+/+
HTTP/1.1” 404 33224 “-” “Mozilla/4.0 (compatible; MSIE 6.0; Windows NT
5.1;1813)”
89.116.191.109 – – [30/Aug/2008:12:04:04 +0300] “GET /tag/gmail/+/+/+
HTTP/1.1” 404 33199 “-” “Mozilla/4.0 (compatible; MSIE 6.0; Windows NT
5.1;1813)”
89.116.191.109 – – [30/Aug/2008:12:04:07 +0300] “GET /tag/gmail/+/+/+/+
HTTP/1.1” 404 33216 “-” “Mozilla/4.0 (compatible; MSIE 6.0; Windows NT
5.1;1813)”
……
ir taip auga auga
Visų pirma buvo keista matyti tokias nuorodas ir pirmiausiai priėjau išvados, kad kaltas koks nors dinaminis skriptas kuris yra mano svetainėje. Vienas iš įtariamųjų kilo dėl textads.lt reklaminių banerių, nes srautas pakilo tą pačia dieną kai baneriai buvo įjungti ir sumažėdavo tuomet, kai aš jį išjungdavau. Bendradarbiavome su textads direktoriumi problemos paieškoje. Bet programuotojai atsakingi už šią sistemą jokių problemų nerado. Net nesugebėjo rasti priežasties.
Tad vėl pats tęsiau sprendimo paieškas. Tęsiau paiešką ieškodamas informacijos apie keistą (toks vaizdas kad nepilnas) naršyklės headerį vildamas, kad ne vienas aš buvau susidūręs su čia problema… ir pasirodo tokių yra ne vienas. Paieška užtruko visai nedaug, nes problema buvo globali.
Taigi kaltininkas AVG 8 antivirusinė programa. AVG antivirusinė turi taip vadinamą toolbarą, kurio viena iš savybių (linkscanner) nagrinėti ar nėra puslapyje kenksmingų/apgaulingų nuorodų. Teoriškai ji svetainės srautą turėtų padidinti tik 2 kartus, bet dėl kažkokios klaidos/bug’o ar skriptų konfliktų (kuris pas mane buvo su textads.t) prasideda begalinis puslapio turinio krovimas (spėju kol vartotojas neuždaro puslapio). Ir visa tai sudarė man papildomus ~50GB duomenų srauto. Koks dalykas yra šioje situacijoje pagrindinis katalizatorius.. neaišku, žinau tik, kad dėl wordpress/textads/AVG linkscanner konflikto. Ar čia wordpress turi įtakos… nežinau.
Vienas iš sprendimų blokuoti blogus lankytojus. Šiuo atveju AVG srautą:
RewriteEngine on
Rewritecond %{HTTP_USER_AGENT} “.*MSIE 6.0; Windows NT 5.1; SV1.$” [OR]
Rewritecond %{HTTP_USER_AGENT} “.*MSIE 6.0; Windows NT 5.1;1813.$”
RewriteCond %{HTTP_REFERER} ^$
ReWriteCond %{HTTP:Accept-Encoding} ^$
RewriteCond %{REQUEST_METHOD} ^GET$
RewriteRule ^.* http://freeforum.avg.com/?LinkScannerSucks [R=307,L]
Daugiau informacijos apie šią problemą http://www.avg-watch.org/