IT A-Z

สารบาญตามตัวอักษร

spider

ที่มา WhatIs.com

spider เป็นโปรแกรมเยี่ยมเว็บไซต์และอ่านเพจและสารสนเทศของเว็บไซต์นั้นเพื่อสร้างบัญชีดัชนีการค้นหา search engine บนเว็บทั้งมีโปรแกรมลักษณะนี้ ซึ่งเรียกว่า “crawler” หรือ “bot” ตามปกติ spider ได้รับการโปรแกรมให้เยี่ยมไซต์ใหม่หรือมีการปรับปรุงโดยเจ้าของไซต์นั้น ไซต์ทั้งหมดหรือเพจเฉพาะสามารถได้รับการเยี่ยมอย่างจำแนกและทำดัชนี โปรแกรม spider ได้รับการเรียกว่า spider เพราะว่าตามปกติโปรแกรมนี้เยี่ยมหลายไซต์แบบขนานในเวลาเดียวกัน “ขา” ของโปรแกรมขยายไปในพื้นที่ขนาดใหญ่ของ “เว็บ” โปรแกรม spider สามารถ crawl ถึงเพจของไซต์ในหลายวิธี วิธีหนึ่งคือ ติดตาม hypertext link ในแต่ละเพจจนกระทั่งอ่านเพจทั้งหน้า

spider สำหรับ AltaVista และเว็บไซต์นี้ เรียกว่า Scooter โปรแกรม Scooter ทำตามกฎ “ความสุภาพ” สำหรับ Web spider ที่ระบุใน Standard for Robot Exclusion (SRE) โปรแกรมนี้จะขอแม่ข่ายที่ไฟล์ที่จะทำดัชนี โปรแกรมนี้ไม่ (หรือไม่สามารถ) ผ่าน firewall และมีอัลกอริทึมพิเศษสำหรับการคอยคำขอกับแม่ข่าย ดังนั้น จึงไม่มีผลกับ response time ของผู้ใช้อื่น

ศัพท์เกี่ยวข้อง

update: 5 เมษายน 2548