איך חוסמים בוטים ש'שותים' את הזמן מעבד?

[rutt]

קיבלתי התראה מהסיפאנל שאני חורגת מה"זמן מעבד" בעקבות 'טחינה' של האתר על ידי בוטים נודניקים.
איך מתגברים על זה? יש רובוטים שמוגדרים כ 'Unknown robot' והם לוקחים מעל ל- 5 ג"ב!!

ראיתי פוסט מלפני כ-4 שנים, אני לא יודעת אם הוא רלוונטי - https://forums.cpanel.net/threads/unknown-robot-identified-by-bot.433452/

בכל אופן אשמח לשמוע עצות מבעלי נסיון.
תודה

 

[3 פינות]

חוסמים אותם בקובץ HTACCESS
זה תמיד אותם כתובות IP?
אתה יודע איזה בוט זה?
יש לך תוסף אבטחה באתר?

 

[LowcHost]

שלום רב,
כפי שכתבו למעלה, אכן ניתן לחסום באמצעות htaccess
הוסיפי את השורות הבאות:

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} ^.*(Baiduspider|HTTrack|Yandex).*$ [NC]
RewriteRule .* - [F,L]

כאשר Baiduspider|HTTrack|Yandex זה רשימת user-agent של הבוטים.

מקור לקריאה נוספת:
https://www.inmotionhosting.com/sup...-unwanted-users-from-your-site-using-htaccess

כאן יש מדריך עם קוד לדוגמא מוכן כבר לשים בקובץ HTACCESS:
https://lowchost.co.il/clients/knowledgebase.php?action=displayarticle&id=4287


בLowcHost אחסון אתרים אנו מבצעים את חסימת הבוטים הבעייתיים הידועים כבר ברמת השרת כך שהם לא מגיעים לאתר שלך, בלי שום עבודה מיוחדת מצידך

 

[rutt]

תודה למגיבים.
לא מופיע לי כתובת IP של הבוטים. רק מופיע השורה הזו:
Unknown robot (identified by 'bot' followed by a space or one of the following characters _+:,.;/\-) 70,404+1932
5.22 גיגהבייט 29 אוקטובר 2018 - 08:28

 

[rutt]

שלום רב,
כפי שכתבו למעלה, אכן ניתן לחסום באמצעות htaccess
הוסיפי את השורות הבאות:

זה יחסום הכל? גם גוגל ובינג? אני לא רוצה לחסום את הסורקים החיוביים.

 

[LowcHost]

זה יחסום הכל? גם גוגל ובינג? אני לא רוצה לחסום את הסורקים החיוביים.

לא, זה יחסום כאלו שמזוהים כמזיקים (כמובן גם לא את כולם..אבל את העיקריים)

 

[shaon kir]

מעניין באמת למצוא דרך לחסום אותם.

 

[rutt]

חוסמים אותם בקובץ HTACCESS
זה תמיד אותם כתובות IP?
אתה יודע איזה בוט זה?
יש לך תוסף אבטחה באתר?

אני לא יודעת איזה בוט זה, ויש לי תוסף אבטחה של סוקורי ושל וורדפנס.

 

[3 פינות]

אני לא יודעת איזה בוט זה, ויש לי תוסף אבטחה של סוקורי ושל וורדפנס.

ניסית את מה שתום ( @LowcHost )כתב?

 

[rutt]

ניסית את מה שתום ( @LowcHost )כתב?

אני אנסה. רק רציתי לדעת היכן מניחים את זה בדף? זה משנה - התחלה אמצע או סוף? זה מצריך תווים כלשהם לפני ואחרי? אני לא מבינה ב-PHP ואני חוששת להפיל את האתר.

 

[rutt]

</IfModule>
## END EXPIRES CACHING - JCH OPTIMIZE ##

כך הקובץ אצלי מסתיים. להוסיף את הקוד אחרי זה? בלי תגי פתיחה וסיום? או לפני?

 

[3 פינות]

</IfModule>
## END EXPIRES CACHING - JCH OPTIMIZE ##

כך הקובץ אצלי מסתיים. להוסיף את הקוד אחרי זה? בלי תגי פתיחה וסיום? או לפני?

אנחנו מדברים על קובץ בשם .htacces שנמצא בתיקיה הראשית של האתר.
ההגדרות ששמים שמה הם הגדרות כלליות לשרת.
מוסיפים בסוף הקובץ ללא תגי פתיחה וסיום. (בשור חדשה כמובן)

 

[rutt]

אנחנו מדברים על קובץ בשם .htacces שנמצא בתיקיה הראשית של האתר.
ההגדרות ששמים שמה הם הגדרות כלליות לשרת.
מוסיפים בסוף הקובץ ללא תגי פתיחה וסיום. (בשור חדשה כמובן)

כפי שחששתי - זה הפיל את האתר. החזרתי את הקודם.
מה שעשיתי זה שמרתי בקובץ TXT דרך נוטפד. גם כשהורדתי את הסיומת זה זה לא עזר.

 

[yooda230]

לדעתי "קלאודפלר" לא מבין את האנטי של הגולשים פה כלפיהם...

 

[rutt]

לדעתי "קלאודפלר" לא מבין את האנטי של הגולשים פה כלפיהם...

היה לי, והיה מאט מאד את האתר.

 

[yooda230]

היה לי, והיה מאט מאד את האתר.

לא מבין את זה..
כל האתרים שלי מנותבים דרכו שומבעיה במהירות האתר... להיפך...
מה גם שכיום יש להם חוות שרתים בתל אביב כמדומני...
ממליץ לך לנסות אותו או את הפיתרונות שהוצעו לעיל...

 

[rutt]

לא מבין את זה..
כל האתרים שלי מנותבים דרכו שומבעיה במהירות האתר... להיפך...
מה גם שכיום יש להם חוות שרתים בתל אביב כמדומני...
ממליץ לך לנסות אותו או את הפיתרונות שהוצעו לעיל...

קלאודפלר בגירסה החינמית חוסם לבד את כל הבוטים הבעייתיים, או שצריך לסמן לו אחד אחד?

 

[yooda230]

קלאודפלר בגירסה החינמית חוסם לבד את כל הבוטים הבעייתיים, או שצריך לסמן לו אחד אחד?

כעיקרון להבנתי המועטה הוא יודע להתמודד עם זה לבד.
ראי כאן וגלגלי בגוגל בכדי לוודא
https://support.cloudflare.com/hc/en-us/articles/200171416-How-do-I-block-bots-and-crawlers-

 

[rutt]

התקנתי את קלאודפלאר דרך הסיפאנל של חב' האירוח, והוא מוציא לי הודעה, שאינה ברורה לי:
מתורגם:
הפעלת את Cloudflare דרך הגדרת CNAME שמשמעותה שאינך משתמש ב- Cloudflare עבור DNS. ניתוחי DNS זמינים רק ללקוחות המשתמשים ב- DNS של Cloudflare. אם אתה רוצה להתחיל להשתמש ב- Cloudflare עבור DNS, בקש מאנשי התמיכה שלנו להחליף את ההגדרה שלך כאן.