א. אתה צודק, דיי פשוט למנוע מרובוטים לעשות קרולינג לדומין שלך. יש קובץ סטנדרטי שנקרא
Robots.txt אם אני לא טועה שצריך לעדכן אותו בצורה אחראית ולא לאפשר לכל אחד לעשות לך קרולינג.
למרות זאת יכול להיות שמדובר במשהו מעט יותר מתוכחם / מיושן שעושה את הפפעולה בצורה חצי ידנית.
דווקא הגודל בהאטטריק מהווה מכשול למישהו שרוצה לפעול ידנית, כי יש פשוט יותר מידי מידע. בניגוד לבאזר.
לצורך העיניין אפשר לשלם ל5 הודים לשבת במשך חודשיים פעם ב3 ימים על השוק ולהכניס ידנית את התכונות של שחקנים מעל 30 אלף שכר בכל עמדה, וזה לא יעלה לך יותר מידי ותשיג מסד נתונים לא רע כל כך....
"Did you miss me??? - "With every bullet so far..." Al Bundy