שליפת נתונים מדפי HTML

  • הוסף לסימניות
  • #1
אני סטודנטית של משרד החינוך.
אני עושה פרויקט גמר שמשתמש באלגוריתם לחיפוש ושליפת נתונים מאתרים.
יש מישהו שיכול להציע לי מאמרים. אלגוריתמים שמתעסקים בנושא ומסבירים את הנושא בצורה ברורה?
זה ממש יעזור לי!
תודה רבה!
 
  • הוסף לסימניות
  • #3
יש 2 אפשרויות איך המידע עובר מהשרת (server) לדפדפן (client)

השיטה הישנה וכך רוב אתרים קטנים ובינונים עובדים
עיבוד של המידע מתבצע בצד שרת והפלט שהשרת מוציא הוא קוד HTML מוכן ישר לדפדפן
במקרה כזה את צריכה ספריה שיודעת לפענח קוד HTML ולסנן את המידע
בשפת תכנות NODEJS מאד קל לעשות את הפעולה באמצעות הספריה node-html-parser

השיטה החדשה ורוב אתרים גדולים כמו יד2 ואחרים משתמשים
הפלט של השרת מועבר ב2 שלבים
שלב ראשון רק המבנה והעיצוב של האתר
בשלב שני שרת שולח רק את התוכן הרלוונטי בפורמט JSON
קוד JS יודע לשלב את המידע לתוך העיצוב שנשלח בשלב א

במצב כזה הרבה יותר קל לאסוף את המידע
צריכים רק לראות בכלי "network" של הדפדפן איזה בקשת URL שולחת את התוכן ואיזה פרמטרים צריכים לשלוח כדי לקבל את המידע הנכון
יש גם תוכנה בשם post-man שאפשר להריץ בצורה ידנית קריאות לשרת שמדמה שליחת קריאות של דפדפן
 
  • הוסף לסימניות
  • #5
אני רוצה לגשת לשורת החיפוש באתר דרך הקוד
ולשלוח שם מילים לחיפוש ולקלוט את התשובה
הבעיה היא שבאתר שאני רוצה לעשות את זה הבקשה נשלחת כPOST ולא כGET
איך אפשר לשלוח את הבקשה שלי?
צילום מסך 2021-03-30 000949.jpg
 
  • הוסף לסימניות
  • #6
אני רוצה לגשת לשורת החיפוש באתר דרך הקוד
ולשלוח שם מילים לחיפוש ולקלוט את התשובה
הבעיה היא שבאתר שאני רוצה לעשות את זה הבקשה נשלחת כPOST ולא כGET
איך אפשר לשלוח את הבקשה שלי?
זה תלוי שפה. באיזו שפה את משתמשת?
בכל מקרה, בדרך כלל כל פונקציה שיודעת לשלוח get יודעת גם לשלוח post
 
  • הוסף לסימניות
  • #7
אני רוצה לגשת לשורת החיפוש באתר דרך הקוד
ולשלוח שם מילים לחיפוש ולקלוט את התשובה
הבעיה היא שבאתר שאני רוצה לעשות את זה הבקשה נשלחת כPOST ולא כGET
איך אפשר לשלוח את הבקשה שלי?צפה בקובץ המצורף 860312
בשביל בדיקות? תשתשמשי עם פוסטמן.
יש גם תוכנה בשם post-man שאפשר להריץ בצורה ידנית קריאות לשרת שמדמה שליחת קריאות של דפדפן
 
  • הוסף לסימניות
  • #8
יש מישהו שיכול להסביר לי מה ההבדל בין IHtmlDocument לבין HtmlDocument? או שאין הבדל?
 
  • הוסף לסימניות
  • #9
לאיזו שפה הכוונה?
בד"כ מה שמתחיל בI הוא interface, והשני כנראה class.
 
  • הוסף לסימניות
  • #11
השפה היא בשפת C# השאלה היא אם יש הבדל בסיסי כל שהוא מאחורי שני העצמים האלו ( IHtmlDocument, HtmlDocument)
כי הפעולות שעושים עליהם הם שונות....
 
  • הוסף לסימניות
  • #12
בפרוייקט שלי אני נגשת לתווית שופינג ורוצה להוציא משם נתונים.
אני מצליחה לשלוף אבל באופן מוזר זה שולף לי דף HTML עם תגיות וCLASS-ים שונים
יש משהוא שנתקל בבעיה ויכול להסביר לי למה זה קורה?
 

פרוגבוט

תוכן שיווקי
פרסומת

פוסטים חדשים שאולי לא קראת....

הצטרפות לניוזלטר

איזה כיף שהצטרפתם לניוזלטר שלנו!

מעכשיו, תהיו הראשונים לקבל את כל העדכונים, החדשות, ההפתעות בלעדיות, והתכנים הכי חמים שלנו בפרוג!

לוח מודעות

הפרק היומי

הפרק היומי! כל ערב פרק תהילים חדש. הצטרפו אלינו לקריאת תהילים משותפת!


תהילים פרק כה

אלְדָוִד אֵלֶיךָ יי נַפְשִׁי אֶשָּׂא:באֱלֹהַי בְּךָ בָטַחְתִּי אַל אֵבוֹשָׁה אַל יַעַלְצוּ אֹיְבַי לִי:גגַּם כָּל קוֶֹיךָ לֹא יֵבֹשׁוּ יֵבֹשׁוּ הַבּוֹגְדִים רֵיקָם:דדְּרָכֶיךָ יי הוֹדִיעֵנִי אֹרְחוֹתֶיךָ לַמְּדֵנִי:ההַדְרִיכֵנִי בַאֲמִתֶּךָ וְלַמְּדֵנִי כִּי אַתָּה אֱלֹהֵי יִשְׁעִי אוֹתְךָ קִוִּיתִי כָּל הַיּוֹם:וזְכֹר רַחֲמֶיךָ יי וַחֲסָדֶיךָ כִּי מֵעוֹלָם הֵמָּה:זחַטֹּאות נְעוּרַי וּפְשָׁעַי אַל תִּזְכֹּר כְּחַסְדְּךָ זְכָר לִי אַתָּה לְמַעַן טוּבְךָ יי:חטוֹב וְיָשָׁר יי עַל כֵּן יוֹרֶה חַטָּאִים בַּדָּרֶךְ:טיַדְרֵךְ עֲנָוִים בַּמִּשְׁפָּט וִילַמֵּד עֲנָוִים דַּרְכּוֹ:יכָּל אָרְחוֹת יי חֶסֶד וֶאֱמֶת לְנֹצְרֵי בְרִיתוֹ וְעֵדֹתָיו:יאלְמַעַן שִׁמְךָ יי וְסָלַחְתָּ לַעֲוֹנִי כִּי רַב הוּא:יבמִי זֶה הָאִישׁ יְרֵא יי יוֹרֶנּוּ בְּדֶרֶךְ יִבְחָר:יגנַפְשׁוֹ בְּטוֹב תָּלִין וְזַרְעוֹ יִירַשׁ אָרֶץ:ידסוֹד יי לִירֵאָיו וּבְרִיתוֹ לְהוֹדִיעָם:טועֵינַי תָּמִיד אֶל יי כִּי הוּא יוֹצִיא מֵרֶשֶׁת רַגְלָי:טזפְּנֵה אֵלַי וְחָנֵּנִי כִּי יָחִיד וְעָנִי אָנִי:יזצָרוֹת לְבָבִי הִרְחִיבוּ מִמְּצוּקוֹתַי הוֹצִיאֵנִי:יחרְאֵה עָנְיִי וַעֲמָלִי וְשָׂא לְכָל חַטֹּאותָי:יטרְאֵה אוֹיְבַי כִּי רָבּוּ וְשִׂנְאַת חָמָס שְׂנֵאוּנִי:כשָׁמְרָה נַפְשִׁי וְהַצִּילֵנִי אַל אֵבוֹשׁ כִּי חָסִיתִי בָךְ:כאתֹּם וָיֹשֶׁר יִצְּרוּנִי כִּי קִוִּיתִיךָ:כבפְּדֵה אֱלֹהִים אֶת יִשְׂרָאֵל מִכֹּל צָרוֹתָיו:
נקרא  2  פעמים
למעלה