גוגל סורק את האתר שלי כל יום?

[גרפיקנער]

אתמול בלילה הכנסתי את הפוסט הזה לאתר שלי, וכבר היום בבוקר הוא מופיע בגוגל? זה הגיוני?

 

[yitzy]

בהחלט

אם תגגל ערך חדשותי פופולרי תראה עידכונים בזמן אמת על תוצאות נוספות רלוונטיות

 

[דינקיס]

אחרי הכנסתו לפעילות של הקפאין, טוענים הרבה בעלי אתרים, שהתדירות בה גוגל סורק את האתר עלתה שבעתיים.

 

[גרפיקנער]

מעניין מאוד. אני עכשיו הולך לבדוק את הענין בתדירות גבוהה יותר.

היה לזה איזה אזכור בבלוג של גוגל?

 

[Shia]

גם אני הבחנתי שפוסט חדש שלי הופיע תוך פחות משעה בתוצאות של גוגל.

ראיתי עוד סימנים די ברורים שהאינדקס של גוגל מתעדכן בקצב מהיר במיוחד.

זה ללא ספק קשור ל"קפאין" שסיפרתי עליו כאן:
http://prog.co.il/showthread.php?t=50553

ושאפשר לקרוא עליו עוד בבלוג הרשמי של גוגל
http://googleblog.blogspot.com/2010/06/our-new-search-index-caffeine.html

 

[גרפיקנער]

בהחלט

אם תגגל ערך חדשותי פופולרי תראה עידכונים בזמן אמת על תוצאות נוספות רלוונטיות

טוב, זה ידוע שאתרי חדשות גוגל מעדכן בתדירות גבוהה מאוד (ועל בסיס זה נבנה הרעיון של גוגל ניוז), אבל אתרים קטנים וזניחים כמו זה שלי, הוא היה סורק פעם בשבועיים - חודש.

 

[Shlomi]

גוגל אוהב אתרים כמו שלך, האתר שלך לפי התקן, הרבה תוכן..
תן לי גם לנחש, עשית מפה לאתר לפני לא הרבה זמן, אני צודק?

 

[Shlomi]

גוגל אוהב אתרים כמו שלך, האתר שלך לפי התקן, הרבה תוכן..
תן לי גם לנחש, עשית מפה לאתר לפני לא הרבה זמן, אני צודק?

 

[Shia]

שלומי, התקן לא ממש קריטי לכמה גוגל מבקר באתר שלך...

 

[גרפיקנער]

באתר שלי יש בסה"כ 6 פוסטים...

בנוי לפי התקן? זה וורדפרס רגיל.

 

[Shlomi]

אני יודע, אבל באתר כמו שלך, התוכן הוא המכריע, גוגל אוהב בלשון המעטה אתרים כאלה.

 

[ניב אסרף]

אני משתמש ב"פונקציה" קטנה שבניתי , מי שרוצה מוזמן:

function google_msn_bot($site, $email)
{
 if((isset($_SERVER['HTTP_USER_AGENT']) && (eregi("googlebot",$_SERVER['HTTP_USER_AGENT']) || eregi("msnbot",$_SERVER['HTTP_USER_AGENT']))))
 {
  if ($_SERVER['QUERY_STRING'] != "")
   $url = "http://".$_SERVER['SERVER_NAME'].$_SERVER['PHP_SELF'].'?'.$_SERVER['QUERY_STRING'];
  else
   $url = "http://".$_SERVER['SERVER_NAME'].$_SERVER['PHP_SELF'];
  $date  = date("F j, Y, g:i a");
  $headers =  "From: ".$site." <".$email.">";
  $message =  "";
  $message .= "Googlebot/MSNbot is crawling your site:\n";
  $message .= "Page: $url\n";
  $message .= "Date: $date \n";
  $message .= "IP: ".$_SERVER['REMOTE_ADDR']." \n";
  $message .= "Robot Id: ". $_SERVER['HTTP_USER_AGENT']."\n";
  if(eregi("googlebot", $_SERVER['HTTP_USER_AGENT']))
   $bot = "google bot";
  if(eregi("msnbot", $_SERVER['HTTP_USER_AGENT'])) 
   $bot = "msnbot";
  mail($email, $bot." - ".$url, $message,$headers);
 }
 
}

אופן השימוש לדוגמא:

google_msn_bot("http://www.example.co.il", <לא ניתן לפרסם מיילים באופן פומבי>);

עריכה:
זה לא מציג את הקוד בצורה מסודרת , מי שרוצה יכול לראות כאן:
http://c-m-s.co.il/google.phps

ד"א להנהלת הפורום, אולי תארגנו אפשרות לעלות קבצים בסיומת PHPS, זה יקל עלינו

 

[Shlomi]

בוא נגיד, שהסבר לא יזיק
תודה רבה !

 

[Shlomi]

בוא נגיד, שהסבר לא יזיק
תודה רבה !

 

[yitzy]

אם הבנתי נכון, זה סקריפט שעוקב אחרי הרובוטים של גוגל ושולח אימייל עם פרטים כשהם באתר שלך...

 

[wmw]

יפה, אתה בודק כל פעם כשגוגלבוט נכנס אליך, ושולח לעצמך מייל על כך.
לא מזמן ראיתי סידרה של משפחות כתובות IP השייכות לגוגלבוט.
תוכל לזהות יותר בקלות לפי זה.

חושבני שכדאי לך להמיר את המייל לאיזשהו קובץ לוג פשוט, שאותו תקרא בעזרת דף באתר.

 

[ניב אסרף]

בוא נגיד, שהסבר לא יזיק
תודה רבה !

אני בודק את ה-USER AGENT של הגולש, אם מופיע בו "googlebot" או "msnbot" סימן שמדובר בבוט של גוגל או של MSN ולאחר מכן נשלחת הודעה לאימייל שלך המכילה את התאריך ושעת הביקור, את סוג הבוט (GOOGLE/MSN) , את הדף בו הוא ביקר ואת הIP ממנו הוא צפה.

אם הבנתי נכון, זה סקריפט שעוקב אחרי הרובוטים של גוגל ושולח אימייל עם פרטים כשהם באתר שלך...

בדיוק

יפה, אתה בודק כל פעם כשגוגלבוט נכנס אליך, ושולח לעצמך מייל על כך.
לא מזמן ראיתי סידרה של משפחות כתובות IP השייכות לגוגלבוט.
תוכל לזהות יותר בקלות לפי זה.

חושבני שכדאי לך להמיר את המייל לאיזשהו קובץ לוג פשוט, שאותו תקרא בעזרת דף באתר.

אפשרי, אם מישהו ירצה, אני אעשה זאת..
בקשר לכתובות ה-IP של גוגל , אשמח אם תשלח קישור לנושא.

 

[מקארתור]

http://www.iplists.com/

http://googlewebmastercentral.blogspot.com/2006/09/how-to-verify-googlebot.html

אפשר גם להכניס קוד שמקפיץ הודעה לגולשים, גוגל כעת מבקר פה, אנא הכנס הודעה וכדו', לעידוד טוקבקיסטים,

 

[מקארתור]

צריך רק לבדוק שהכתובות עדיין נכונות, ולא התווספו עוד, סביר להניח שזריזות קפאין נובעת מהכנסת שינויים כמו גם IP חדשים

 

[יריב]

DRVVV בשום אופן לא לשקול העלאת קבצי PHP לשרת.
שימו לב, הזהרתי.

רוצים להעלות קוד, תעשו קובץ טקסט עם הקוד!