Co to jest robot txt ? Definicja

2022-04-25

Jednym z struktury ,,Robots Exclusion Protocol’’, który powstał po to aby informować automaty, czyli boty o tym, czego nie mogą wykonywać na stronie www.

 

 

Nie każdy właściciel strony www zgadza się na przykład na uwidocznienie swojego dzieła w wynikach przeglądarki. W katalogu powinien zostać umieszczony plik robots.txt, do którego przekierowana została internetowa domena, jeśli jest to przykładowo centralny katalog domeny. W skład procesu wyszukiwania świeżych źródeł w internecie są wykorzystywane głównie charakterystyczne boty, inaczej boty. Podążają one za hiperłączami oraz notują całą teść dokumentów danej strony internetowej w sposób zwięzły, która przewija i analizuje strony www, po to aby kolejno dołożyć do nich dane do bazy przeglądarki. Wyszczególnione roboty po przejrzeniu konkretnej strony www interpretują jest format, schemat oraz zawartość, a na podstawie nieznanego i nieokreślonego algorytmu dokładają właściwą stronę www w głównych wynikach poszukiwań na odpowiednim stanowisku.