Keresőrobot
![]() | Ez a szócikk nem tünteti fel a független forrásokat, amelyeket felhasználtak a készítése során. Emiatt nem tudjuk közvetlenül ellenőrizni, hogy a szócikkben szereplő állítások helytállóak-e. Segíts megbízható forrásokat találni az állításokhoz! Lásd még: A Wikipédia nem az első közlés helye. |
A keresőrobot (angolul: web crawler) egy informatikai kifejezés. Olyan speciális programok gyűjtőneve, amelyek képesek az interneten fellelhető publikus, illetve a robots.txt és a robots metatag által engedélyezett tartalmak letöltésére, és ezek valamilyen formában való elemzésére, az adatok eltárolására.
A keresőrobotokat legtöbbször keresőoldalak használják arra a célra, hogy a felkutatott és indexelt weboldalak linkjeit a saját oldalukon kereshetővé tegyék. Ilyen a talán legismertebb Googlebot, ami a Google számára tölt le weboldalakat, de nagyon sok hasonló robot létezik. A tipikus felhasználáson kívül léteznek speciális alkalmazások is, karbantartásra, vagy más adatok összegyűjtésére használt robotok is.
A keresőrobotok felépítésüktől függően képesek egy már létező böngésző motorját felhasználva a megcélzott weboldal HTML-kódjának a teljes feldolgozására, és azon a JavaScript-függvények lefuttatására is, de általában nem ez a helyzet. A keresőrobotok rendszerint egy böngészőnél sokkal egyszerűbb módon, a HTML-struktúra objektumokká felépítése nélkül próbálják a szöveget értelmezni. Ez azt jelenti, hogy az emberi felhasználó által látott, és a keresőrobot által látott „kép” néha jelentősen eltér. A keresőrobotok többsége nem képes képeket értelmezni, illetve a HTML-kód megjelenítését szabályozó CSS-t sem dolgozza fel, így lényegében csak a szöveges tartalom az amit lát. Ahhoz, hogy egy a keresőrobotéhoz hasonló képet kapjunk, nekünk is egy szöveges böngészőt kell használni, ilyen például a Lynx.[1] A weboldalak tulajdonosai háromféle módon tudják a saját oldalaikon a keresőrobotok tevékenységét szabályozni. Ezek közül a leggyakrabban használt a robots.txt. Ez egy egyszerű szöveges fájl, amely instrukciókat tartalmaz a robotok számára, hogy az azt tartalmazó weboldal mely oldalait érhetik el a robotok. Például:
User-agent: * Disallow: /test/* Allow: /help.html Allow: /index.html
Itt a „test” alkönyvtár tartalma tilos a robotok számára, az oldalon található help.html és az index.html viszont feldolgozható. Alapértelmezetten minden tartalmat feldolgozhatnak.
A User-agent: után következik annak robotnak a megnevezése, amelyre ez a bejegyzés vonatkozik, a csillag jelentése az, hogy minden robotra vonatkozik, lehet egy konkrét robotot is letiltani, például:
User-agent: Googlebot Disallow: /
Ez a Google keresőrobotjának jelzi, hogy semmit nem indexelhet (a webhely gyökérkönyvtárát tiltja le).
A következő eszköz a HTML-oldalak fejlécében elhelyezett robots metaelem:
<meta name="robots" content="index,follow" />
A tartalom (content) lehetséges értékei:
- noindex – ilyenkor az adott oldalt a robotok nem indexelhetik
- index – indexelés engedélyezett
- nofollow – az adott oldalt indexeli, de onnan nem gyűjthet további linkeket
- follow – linkek gyűjtése megengedett
- all – azonos az index,follow kombinációval, ez az alapértelmezés
- none – azonos a noindex,nofollow kombinációval
És ezek értelemszerű kombinációi, az index,follow eset az alapértelmezés, ezért ezt felesleges megadni.
A harmadik lehetőség az egyes linkek követését korlátozza, ez az linkelem <a href="…" rel="nofollow">linkszöveg</a>
paraméterezésével állítható be. Az így megjelölt linkeket a keresőrobot korábban csak követte, de nem számított bele az oldalak kapcsolódási tőkéjét meghatározó linkek közé. 2019 szeptemberében a Google bejelentette, hogy a nofollow attribútummal ellátott linkeket is felhasználhatja az oldalak rangsorolásakor, 2020. március 1 után pedig az indexelés és feltérképezést is elvégezheti a nofollow ellenére. A bejelentéssel bevezetett két új attribútumot, a rel="ugc" a felhasználó által generált tartalomra mutató linkekre, míg a rel="sponsored" a szponzorált linkekre alkalmazható.[2]
Fontos megjegyezni, hogy a keresőrobotok számára a fenti szabályok betartása önkéntes kooperáció, ha egy robotot nem ilyen módon programoztak, akkor nem kényszeríthető a betartására, a weboldal tulajdonosa legfeljebb tűzfal segítségével zárhatja ki a már ismert kártékony robot IP-címét, vagy olyan dinamikus kódot szerkeszt, amely a robot oldal lekérésének a szövegéből kitalálja hogy az egy bizonyos fajta robot, és neki egy másik oldalt generál.
A kártékony keresőrobotok csoportját alkotják az olyan keresőrobotok, amelyek e-mail-címeket vagy más elérhetőségeket keresnek. Ezek nem weboldalakat gyűjtenek indexelés céljából, hanem csak a gyanútlan felhasználók elérhetőségét, amit a későbbiekben spam céljára fognak használni.
Jegyzetek
Informatikai portál • összefoglaló, színes tartalomajánló lap