מנוע סינון חופשי, זה קורה

  • פותח הנושא mat
  • פורסם בתאריך

בניית אתרים וחוויית משתמש >> תוכן מקצועי

מתנה קטנה שתחזיר אותם למסלול
מתנה לעובד, מעבר להיותה מחווה של תשומת לב, יכולה להיות הזדמנות נהדרת להראות לעובדים שאתם חושבים עליהם הרבה מעבר לעיסוק המקצועי שלהם,
כמה באמת מגיע לך? רוצה לדעת אחת ולתמיד?
אינספור יוצרים, עצמאיים ונותני שירות אוכלים את עצמם בכל פעם מחדש. כשהלקוח מאשר את הצעת המחיר – "בטח יצאתי פראייר ונתתי מחיר רצפה, אוף! זהו אני...
5.00 star(s) 2 ratings
לימוד דיגטלי: הצעה לבתי הספר החדשים
ראשית, אני לא במערכת החינוך כבר כמה שנים. אני רחוק ממנה. אפילו עברו כמה שנים מאז עברתי מלהיות אברך ללהיות חייל, משם ללעבוד במשרה מלאה. כמו כן, אין...
5.00 star(s) 1 ratings
כשהתמונה שלי נבחרה להתפרסם "במגזין ילדים בינלאומי"!!!
בעקבות הזכייה במגזין הבינלאומי לצילומי ילדים INTERNATIONAL KID Model Magazine ביקשנו מיעל מרק לשתף אותנו בתחושות אחרי הזכייה ובתהליך שקדם לזכייה...

mat

עריכת וידאו
מנוי פרימיום
כיום כולם יודעים כמה האינטרנט זה דבר טוב וגם דבר גרוע ביותר, לא צריך להסביר הרבה, מספיק שנכנסים לפרום הזה ומבינים בדיוק מה לא טוב באינטרנט וכמה נפילות הוא גורם.

עשו כנסי ענק, תחרות פרסום בין מעצבי פרוג. וכו' אבל אנחנו המפתחים עדין לא עשינו כלום.
כיום המצב שבשביל להינצל מנגעי האינטרנט צריך אינטרנט מסונן. בלי זה אין דרך להינצל. והמרכיב מספר אחד באינטרנט המסונן זה ההיבט הטכנולוגי, המרכיב המשני זה התאמת הפרופיל ההשקפתי והקהילתי.

מסיבות כל שהן במצב היום של הסינון הוא בלתי מספיק. שום חברה לא מתפתחת לשביעות רצון, החלק הטכנולוגי מוזנח מאוד בחברות שעוסקות בעניין.

כיון שהיום ההתפתחויות הטכנולוגיות החזקות ביותר נזקפות לפרויקטי ה"קוד פתוח", שזה בעצם שיתו"פ המוני והתנדבותי בין מתכנתים שמצליח מאוד מאוד, חשבתי להעתיק את המודל הזה לבעיה זו.

במקרה זה, זו מצוה גדולה וחשובה שמתאים שיעסקו בה מתנדבים ולא גופים מסחריים, וכמו שלהצלה יש מתנדבים רבים להצלת חיים ככה אותו דבר בסינון אינטרנט זה ממש פיקוח נפש גם רוחני נפשי ולעיתים גם גופני.


בגלל זה חשבתי שאפשר לאגד קהילה של מפתחים שמעניין אותם הנושא הזה. ולפתח אינטרנט בטוח יותר, הדבר יגרום להתפתחות גדולה בתחום ויוכל להעלות את רמת הזיהוי וקיטלוג אתרים לרמה יותר קרובה לבינת האדם, ככל שיהיה יותר פיתוח רעיונות וביצוע ככה אנחנו נקבל סינון יותר ויותר חכם.

בשביל ההתחלה עשיתי שרת פרוקסי בשפת javascript . בקומפיילר nodejs.
אפשר לראות את זה פה.https://github.com/magicode/NetFilter.
ופה.https://c9.io/magicode/netfilter


בחרתי בשפת javascript בגלל כמה סיבות.

  • שפה קלה.
  • רוב המפתחים מכירים אותה. אין מפתח אינטרנט שלא מכיר.
  • אפשרות להוסיף מחלקות בזמן ריצה בקלות.
  • נתמך בכל הפלטפורמות.

הפרוקסי שבניתי כולל תמיכה לסינון פרוטוקול https, אפשר להטמיע את הפרוקסי בתוך נתב חיצוני, וככה לחסום את הגישה לטיפול בו.

הצרכים הטכנולוגיים שהסינון צריך להתמודד איתם:

  • קטלוג אוטומטי שזה בינה מלאכותית. לתכנים, טקסט ומדיה.
  • אכיפת הסינון על המשתמש:

  • שהמכשיר ממנו המשתמש גולש יהיה בטוח לחלוטין.
  • במידת קיום תשתית רשת קבועה (חיבור) שיתאפשר לבטח גם אותה, מכל מכשיר.
  • ללא "תופעות לוואי":

  • ברמת האתר: שיהיה נאמן למקור ויזואלית ושימושית.
  • ברמת הגלישה: שלא תחול איטיות מורגשת
  • בתקשורת.ברמת הדפדפן: חופש בחירה של תוכנה.
  • ברמת המערכת: ללא הגבלה תכנותית, ללא נוכחות כבידה על המחשב, ללא הגבלת סינון למערכת הפעלה ספציפית

התוכנית מחולקת ל3 חלקים.

  • הראשון: המסנן - האכיפה
זה החלק שמסנן בפועל את התקשורת, כרגע זה מסנן על בסיס פרוקסי, למסנן יהיו יכולות סינון ישיר של כל אתר עמו נוצרת תקשורת, הסינון יחול גם אתרים שלמים וגם על תכנים ואלמנטים בדף/אתר עצמו, הסינון יהיה מבוסס על מסד נתונים שזה מביא אותנו לחלק השני.

  • השני: מסד הנתונים
מסד נתונים מסוג כזה שמכיל הרבה נתונים מצד אחד ומצד שני צריך לעבוד במהירות גבוהה כדי לא להגביל את המהירות, המסד נתונים יתמלא בערכים לפי סינון ידני ובעיקר על פי סינון ממוחשב שבשלב השלישי.

  • השלישי: קיטלוג וזיהוי אתרים
מנוע סריקה שסורק אתרים לינקים ותמונות וקבצים ומקטלג אותם לדרגות, החלק הזה זה החלק הכי מעניין. ומתפתח. כי פה צריך לממש ולפתח את הבינה המלאכותית.
יש כבר מחלקות מוכנות לזהוי אלמנטים בתמונות. למשל כמו opencv, קיימות ספריות בקוד פתוח שסורקות תמונות, וידאו, PDF, בקיצור יש בנושא הזה הרבה מה להתפתח ובעיקר לממש תכונות קיימות.

כמובן שהכל פתוח פה, אפשר להעיר הערות על התוכנית הזאת ולשנות אותה למשהו יותר טוב.



בשביל להפעיל את הסינון בפועל. צריך גוף מפקח . לכן צריך לבנות את זה בצורה כזאת שזה מחולק לקהילות, וכל משתמש יכול להשתייך לכל קהילה שהוא רוצה וההגדרות של הקהילה יחולו עליו.

הסינון יכול להתבצע גם בשרת וגם במחשב, כל אחד ואחד שרוצה להצטרף לפרוייקט יכול לעשות את זה כל אחד ואחד בתחומו, אפשר גם ללמוד js ולעזור, זה ממש קל אני יכול לכוון אתכם לאתרים שנותנים הדרכה בנושא.

מי שרוצה לעבוד על וינדוס מוזמן להוריד את node מפה, ולהוריד את הפרוייקט מפה והוא יכול להריץ את זה על וינדוס, צריך להגדיר את המחשב לפרוקסי של השרת.

את התיכנות המשותף נעשה על גבי github,זה עובד בצורה שכל אחד מפתח אצלו ואחרי זה מאחד את זה עם מה שיש ב-git.



חברים בהצלחה לכולם עם הפרויקט הזה ושבעזרת ה' למרות הקשיים נצליח לעמוד ולקחת את זה רחוק.

 

wmw

משתמש פעיל
פיתוח / אפיון / עיצוב אתרים
נייס
אבל בלי "שוטר" אמיתי, אני "יפציץ" בקשות לחסום אתרים שמשום מה לא חושבים לגמרי כמוני.
ובלי להכנס לדוגמאות פוליטיות ערב בחירות....
 

Shia

משתמש מקצוען
מנוי פרימיום
בוגר/תלמיד פרוג
פיתוח / אפיון / עיצוב אתרים
נכתב ע"י wmw;940813:
נייס
אבל בלי "שוטר" אמיתי, אני "יפציץ" בקשות לחסום אתרים שמשום מה לא חושבים לגמרי כמוני.
ובלי להכנס לדוגמאות פוליטיות ערב בחירות....
אז שמים את זה ביידיים של הקהילה
כמו וויקיפדיה
 

יריב

משתמש רשום
סינון אתרים באמצעות ג'אווה סקריפט???
הידעת, מנועי ג'אווה סקריפט מעדיפים לעבוד אחרי עליית הדף (זה קצת מאוחר לסינון)
הם גם עובדים בצד לקוח כך שהם "מביטים" על התוכן אחרי שהוא כבר הוזרם אליך.

אני מוכן להיכנס לפרויקט הזה אם אתה מוצא לו משקיע.
ללא סינוני תמונות או טקסטים - מסננים אתרים בלבד,
רשימות שחורות, רשימות לבנות,
רשימות תגיות לבחירה - לדוגמא אני מעוניין בסינון אבל לא בתחום התוכנה והכלכלה.
עם "זכרון גלובאלי" של רשימת האתרים שעלו בכתובת IP שלך, ז"א כל יושבי הבית ברשימה אחת.
בעקרון מיועד לאשתך לעשות ביקורת לכוווווולם :-)

יעבוד בשיטה "חדשנית" שאני קורא לה PrivateDNS שבניגוד לשיטת ה-DNS המוכרת אנו נוכל לשלוט בכתובות (ללא הדבקה) וכך לתת תוכן פרטי למסוננים, לסנן ולהחליף תוכן.
אנו זקוקים לכותב תוכנה בויז'ואל משהו, היות שזו תהיה תוכנה שמותקנת בווינדוס.

כל דפדפן או תוכנה במחשב תושפע באותה המידה מהתוכנה, ההשבתה ברמת ה-DNS.
לכבוד WMW ניתן להוסיף פיצ'ר שהגולש יוכל להוסיף תגיות לכל דומיין ובכך ליצור רשימות סינון מתהוות וכן העתקת רשימות סינון לפי תגיות בין כל צרכני שירות.

זה לא ייספק מכת מוות לייצר, זה אפילו לא ידגדג אותו, אבל נוכל לומר שהרשת תהיה מקום מסוכן פחות.

אבל חכה, זה לא הכל,
יש עשרות אתרים שעוקבים אחרי הגולשים, בעיקר באמצעות פריימים,
גם אותם נסנן, גם שרתי פרסומות נסנן. האינטרנט יחזור להיות מהיר יותר ובטוח יותר.
פחות חלונות קופצים ופחות תעופות של דפדפנים.

ובסוף נשמע שילד אחד שיודע לשחק עם hosts בווינדוס, יברר מה ה-IP של אתר מסונן ויכניס אותו ידנית ובם הלך עלינו. איזה תחום מעצבן בחרת......
 

trew

תלת מימד
מוזיקה ונגינה
הדמיות בתלת מימד
עיצוב גרפי
פיתוח / אפיון / עיצוב אתרים
נכתב ע"י יריב;941234:
סינון אתרים באמצעות ג'אווה סקריפט???
הידעת, מנועי ג'אווה סקריפט מעדיפים לעבוד אחרי עליית הדף (זה קצת מאוחר לסינון)
הם גם עובדים בצד לקוח כך שהם "מביטים" על התוכן אחרי שהוא כבר הוזרם אליך.
בשביל ההתחלה עשיתי שרת פרוקסי בשפת javascript . בקומפיילר nodejs.
אפשר לראות את זה פה.https://github.com/magicode/NetFilter.
ופה.https://c9.io/magicode/netfilter
הבנת הכל מעלה פרט לזה שהסינון מתבצע על השרת לא בדפדפן, זה Node.js ולא js שרץ בדפדפן.
אני רואה שחסר הכרות עם הפלטפורמה אז בשתי מילים Node.js מהווה תחליף לPHP ואפאצ'י ביחד, היא רצה ברמת שרת אותו היא מספקת והכל נכתב כמו שאמרו בjs...



ללא סינוני תמונות או טקסטים - מסננים אתרים בלבד,
רשימות שחורות, רשימות לבנות,
זה כבר קיים עכשיו רק שצריך מה שימלא את הרשימות, זה התפקיד של הקהילה.
 

wmw

משתמש פעיל
פיתוח / אפיון / עיצוב אתרים
צריך לצאת מנקודת הנחה, שכל החיבור והגלישה לאינטרנט, כמוהם למי שנזקק לשתות מים, אך האפשרות היחידה העומדת בפניו הינה נחל ביוב מזוהם.

הנזקק הנ"ל מצטייד בפילטר שמסנן את המוצקים [איכססס] ומתכות רעילות, ואולי גם ציוד נוסף שמבודד חיידקים קטלניים במיוחד.

גם אם פרוייקטים מבורכים כמו נשוא האשכול ואחרים יצליחו לזהות עוד מגוון של חיידקים ומחוללי מחלות, עדיין המים הזורמים יישארו מי ביוב מצחינים....
 

mat

עריכת וידאו
מנוי פרימיום
מה שאני עשיתי זה שרת פרוקסי והוא יותר טוב משינוי dns.

כי אם אתה מנותב לפרוקסי. זה לא יעזור לאיזה ip אתה מפנה את הבקשה תמיד הפרוקסי בדרך.
 

Shia

משתמש מקצוען
מנוי פרימיום
בוגר/תלמיד פרוג
פיתוח / אפיון / עיצוב אתרים
נשמע לי כמו פרויקט עם פוטנציאל גדול
אני מקווה שיימצאו כאן מספיק אנשים שיסכימו להירתם לזה.
גם אני אשמח לתרום במה שאוכל.
 

יריב

משתמש רשום
פרוקסיס זה 1 על 1 אתה בעצם גולש תמיד לשרת הפרוקסי
תחשוב ציבור גולשים תחשוב רוחב פס, כמה פרוקסי אתה יכול לתת
או שבעצם הרעיון שלך כולל חוות שרתים וציוד רציני
אם כבר הכל עשוי ורק צריך רשימה, מה נשאר לעשות אפליקציה שנדווח בקלות מאושר או חסום
תתקין את זה אצלי באחד השרתים אני ינסה להרכיב זו האפליקציה.
אבל לא בשיטת פרוקסי, זה לא יתקיים.
 

mat

עריכת וידאו
מנוי פרימיום
אני חשבתי לעשות נתב על raspberry pi עולה 35 דולר. ושבפנים יהיה את הפרוקסי. והמסד נתונים יהיה שרת על האינטרנט.

ושזה יהיה כמו adtrap.

או שאם זה יתפתח את נוכל למצוא ספקי אינטרנט שישימו את זה על הנתבים שלהם.

מה שאני רוצה שיצטרפו. זה לשפר את זה. ולעשות את המנגנון של המסד נתונים. והקיטלוג חכם.

ועוד רעיונות. אם יש.
 

wmw

משתמש פעיל
פיתוח / אפיון / עיצוב אתרים
פרוקסי תמיד יוכל לעבוד לך רק כספק אינטרנט, אחרת תוכל לספק שירות טוב רק לקבוצה קטנה של אנשים.
מה שאתה כן יכול לעשות, זה לספק שירות של רשימות לבנות ושחורות לאחרים.
ואז, חברה שמספקת לעובדיה אינטרנט, תוכל להתחבר מהפרוקסי שלה לרשימה, ולתשאל אותה עבור כל כתובת, וכן לעדכן ברשימה עוד פרטים על כתובות נוספות.

כלקוח פרטי, אפשר להתקין תוכנה שתעדכן את הקאש של ה DNS, או משהו שישב על הכרטיס רשת.

כי אמנם תוכל לעקוף, אבל למעשה כל עוד אתה לא ספק יחיד ממילא ניתן לעקוף אותך
 

eliezer

משתמש מקצוען
עימוד ספרים
עיצוב גרפי
פיתוח / אפיון / עיצוב אתרים
איני מבין כלל בתכנות.
אך דעתי אומר לגבי עצם הדבר.

יש שני סוגי סינון נצרכים.

א. למי שלא רוצה לפתוח אתר ותקפוץ.פרסומת.לא צנועה, וכדו' לא אדם שיםתח בכוונה אתר לא צנוע.
ולכזה אדם, די בעצם הסינון לא משנה באיזו שיטה.

ב. למי שלא סומכים עליו. ולו צריך ממש סינון ברמת הספק אינטרנט עצמו, שאי אפשר לעקוף.


שני הדברים נצרכים, וכמובן מי יכול להבטיח לעצמו שלא יפול, ובוודאי עדיף השני.
אך גם אם ייתכן ליצור רק הראשון, זה כבר דבר מאד מועיל.
 

אבי 24

משתמש רשום
אני גם לא מבין בתכנות, אך רציתי להעיר את תשומת לבכם לתוכנת חסימה חינמית מקצועית ומוצלחת- K9.
אמנם הסינון שם לא ברמה שמספקת ציבור חרדי (אלא אם כן חוסמים את כל האתרים ופותחים רק אתרים ספצפיים) אך אולי תוכלו ללמוד מהם מה הדרך הנכונה לבנות את החסימה.
 

mat

עריכת וידאו
מנוי פרימיום
נכתב ע"י אבי 24;957334:
אני גם לא מבין בתכנות, אך רציתי להעיר את תשומת לבכם לתוכנת חסימה חינמית מקצועית ומוצלחת- K9.
אמנם הסינון שם לא ברמה שמספקת ציבור חרדי (אלא אם כן חוסמים את כל האתרים ופותחים רק אתרים ספצפיים) אך אולי תוכלו ללמוד מהם מה הדרך הנכונה לבנות את החסימה.
אכן k9 זה תוכנה חינמית אבל לא קוד פתוח.

למדתי אותה והיא מבוססת על דריבר שמתווסף לדריבר tcp במחשב.
אם מסירים את הדריבר אז החסימה יורדת.
אז זה באותו רמה כמו פרוקסי עלום שמוגדר במחשב.
 

uda

משתמש רשום
פיתוח / אפיון / עיצוב אתרים
כתבתי הערה ארוכה מדי והלשונית בדפדפן קרסה משום מה (כרום...), אז רק הערה אחת, PI לא יספק את הסחורה, שרת פרוקסי צורך יותר מדי גם בשביל מחשב ביתי ממוצע.
 

yyaniv

משתמש חדש
נו, זז משהו בעניין הזה?
תכלס, יש מי שכבר שנים עובד בתחום, ואכן יש הרבה קידוש השם בעניין ורואים ניסים גלויים. אבל בקושי מוצאים אנשים מוכשרים עם מוטיבציה חרדית לעסוק בזה. כידוע.
למה שלא תחברו לעושים במלאכה ותתרמו במקום שזה עוזר באמת?
גילוי נאות: אני מנהל הפיתוח של נתיב.
 

שמח לעזור

משתמש מקצוען
פיתוח / אפיון / עיצוב אתרים
נכתב ע"י yyaniv;1343162:
נו, זז משהו בעניין הזה?
תכלס, יש מי שכבר שנים עובד בתחום, ואכן יש הרבה קידוש השם בעניין ורואים ניסים גלויים. אבל בקושי מוצאים אנשים מוכשרים עם מוטיבציה חרדית לעסוק בזה. כידוע.
למה שלא תחברו לעושים במלאכה ותתרמו במקום שזה עוזר באמת?
גילוי נאות: אני מנהל הפיתוח של נתיב.
אם נתיב היו נותנים רושם שהם צריכים עזרה, הם היו מוצפים בכשרונות על.
אם נתיב היו מפרסמים "דרושים רעיונות רציניים לפתרונות חסימה, ייעול ניטור אתרים, אוטומציה של התאמות תוכן ללקוחות" ואפי' מתנים זאת בתעודה אקדמית של מציע הרעיון, היה נהיה לה עבודה מאתגרת לאמץ את הרעיונות היעילים ביותר, וכל ישראל היו מרויחים.

נתיב מתנהלים כמו איזו עמותה ישנונית. ביחס למספר הלקוחות, לגיבוי הרבני, לטיב ההשקעה נטולת הסיכונים, נתיב פשוט הם סמל הבטלנות בעיני.
נכון, אתה תגיד "מושקעים אלפי שעות פיתוח, מתכנתים מוכשרים" הכל בסגנון "מה שרואים מכאן" וכו'. אבל לך תספר את זה למישהו אחר. נתיב בקושי מזיזים משהו. אני לקוח נתיב בהווה ובעבר. חוויתי שינויים רבים ומרשימים אבל ביחס לצוות של שניים העובדים בהתנבות בעמותה ללא מטרות רווח.

למה אני משמיץ פה את החברה הטובה ביותר לסינון האינטרנט? כי אני רוצה לעודד אותה להשתנות, חזק.

בהצלחה חברה יקרה ומבוזבזת מסחרית+רוחנית.
 

שמח לעזור

משתמש מקצוען
פיתוח / אפיון / עיצוב אתרים
תכלס אם נתיב רוצים עזרה מהקהילה, שיבקשו בצורה ברורה ובמקום ברור, ויסבירו איך להעביר להם את הפיתוחים/רעיונות. ושיהיה מטעם החברה מישהו מקצועי באמת - לא אחד עם וותק אלא אחד עם ידע שכל ויכולת לטפל בהצעות.
 

אסתי כ.

משתמש סופר מקצוען
מנוי פרימיום
בוגר/תלמיד פרוג
איור וציור מקצועי
נכתב ע"י שמח לעזור;1343228:
למה אני משמיץ פה את החברה הטובה ביותר לסינון האינטרנט?
אתה משוכנע במה שאתה אומר בכזו הצהרה?
אני בכל אופן משוכנע אחרת, וכמוני חושבים עוד הרבה..

ולמה אני כותב את זה?
מסיבה פשוטה; אתם אלו שגורמים שנתיב היו ועדיין וגם יהיו ישנונים, כי הם הרי החברה הכי טובה, לא?!
אז תתחילו להפנים, גם הלקוחות של נתיב וגם נתיב עצמם, שיש מתחרים בשוק..
אתרוג לא נופל ברמת הסינון שלו בגרוש מחברת נתיב. ומבחינת מוח ופיתוח, הוא לא משאיר לנתיב בכלל מקום לפיתחון פה.
אז תפסיקו לגבות סתם, אם אתם באמת מעוניינים בשינוי משמעותי מצד אינטרנט נתיב.

בהצלחה.
 

לוח נדל"ן | למכירה והשכרה

לוח מודעות | קניה מכירה

לוח דרושים

למעלה