خزنده نوعی نرم افزار است که به عنوان یک فرمانده برای عنکبوت یا
Spider عمل می کند. خزنده مشخص می کند که عنکبوت کدام صفحات را مورد بازدید قرار دهد. در واقع خزنده تصمیم می گیرد که کدام یک از پیوندهای صفحه ای که عنکبوت در حال حاضر در آن قرار دارد دنبال شود که ممکن است همه و یا بعضی از آن ها را دنبال نماید و یا هیچ کدام را دنبال نکند.
منبع:seorob.ir
درباره این سایت