IT A-Z

สารบาญตามตัวอักษร

crawler

ที่มา SearchSOA.com

crawler เป็นโปรแกรมที่เยี่ยมเว็บไซต์และอ่านหน้าและสารสนเทศอื่นเพื่อสร้างบัญชีสำหรับดัชนี search engine ระบบ search engine รายใหญ่บนเว็บมีโปรแกรมแบบนี้ ซึ่งรู้จักในชื่อ “spider” หรือ “bot” ตามปกติ crawler ได้รับการเขียนโปรแกรมให้เยี่ยมเว็บไซต์ที่ส่งโดยเจ้าของเป็นเว็บใหม่หรือมีการปรับปรุง ไซต์ทั้งหมดหรือเพจเฉพาะสามารถได้รับการเยี่ยมอย่างเลือกสรรและทำดัชนี crawler ได้รับชื่อนี้เพราะสิ่งนี้คลานผ่านเพจของไซต์แต่ละครั้ง ตามด้วยเชื่อมโยงไปยังเพจอื่นบนไซต์จนกระทั่งอ่านเพจทั้งหน้า

crawler สำหรับ AltaVista และเว็บไซต์ได้รับการเรียกว่า Scooter โดย Scooter เกาะติดกับกฎความสุภาพสำหรับ crawler ของเว็บที่ได้รับการะบุใน Standard for Robot Exclusion (SRE) มีการขอแต่ละแม่ข่าย ซึ่งไฟล์ได้รับการแยกออกจากทำดัชนี สิ่งนี้ไม่ทำ (หรือไม่สามารถ) ผ่าน firewall และสิ่งนี้ใช้อัลกอริทึมเฉพาะสำหรับการรอคอยระหว่างการขอแม่ข่าย ดังนั้นไม่มีผลกับเวลาตอบสนองสำหรับผู้ใช้อื่น

ศัพท์เกี่ยวข้อง

update: 1 สิงหาคม 2541