robot.txt คือไฟล์อะไร
robot.txt นั้นคืออะไร
Web Administrator หลายท่านคงสงสัย ว่าทำไม Web Server ของเราถึงมีไฟล์ robot.txt ทั้ง ๆ ที่ไม่ได้ติดตั้งมาก่อน หรือเครื่องเราโดนดีเข้าให้แล้ว หรืออย่างไร
ก่อนอื่นเราต้องทำความเข้าใจหลักการทำของงาน Search Engine กันนิดหนึ่งนะครับ Search Engine ทุกตัว จะส่ง robot ของตัวเอง เช่น หากเป็น Google จะเรียกว่า Google bot , MSN จะเรียกของตัวเองว่า MSN bot หรือแม้แต่ Yahoo หรือ Search Engine ตัวอื่น ๆ ก็จะเรียกชื่อที่ต่างกันออกไป เพื่อจุดประสงค์็ ไปไต่ (Craw) ตามเว็บ Link ต่าง เช่น […]
Entries (RSS)