Python-proje/presum

1from bs4 import BeautifulSoup2import requests3import json4import re5 6def scrape_mwn(url):7    # extraction du code html8    html_content = requests.get(url)9    # parser le code html10    soup = BeautifulSoup(html_content.text, 'html.parser')11    # extaction des paragraphes p l'article12    app_div = soup.find('div', id='app')13    p = app_div.attrs["data-page"]14    p = json.loads(p)  # transformer le contenu en dict json15    p = p["props"]["post"]["post_content"]  # chemin des p de l'article16    # print(json_object) # debug17    # parser l'html du texte pour nettoyage18    main_text_soup = BeautifulSoup(p, 'html.parser')  19    # extraction des tags p20    main_text_soup.find_all('p')21 22    # suppression du message de copyright23    main_text_soup.find("p", {"class": "article_copyright"}).decompose() 24    25    # suppression du Read also26    for p in main_text_soup.find_all("p"): #on itère sur les paragraphes, on debute par le dernier car 'read also' se trouve en fin de texte27        for link_tag in p.find_all("a"): # on cherche les liens28            joint_list = filter(lambda x: (x != None), [link_tag.find_previous_sibling(string=True) , link_tag.find_previous_sibling("strong")]) # elemnts avant lien + enlever none29            for prev in joint_list: # le read also est tpujours avant le lien, donc on ne cherche que les tags avant 30                if ('read also:' in prev.string.lower()): # verifie si c est le tag voulu31                    p.decompose() # on supprime le tag parent32 33            34 35    # suppression des sous titres des paragraphes36    try:37        for sub_title_tag in filter(lambda x: x != None, (main_text_soup.find_all("h3") + main_text_soup.find_all("strong"))): #on cherche les tags strong et h3 et on itère38            if((sub_title_tag.parent.name != "a") & (len(sub_title_tag.findChildren("a")) == 0 )): # pour ne pas supprimer les liens marqués strong39                if(sub_title_tag.parent.name  == "[document]"): # si le tag est au plus haut niveau cad parent = document40                    #print("self")41                    sub_title_tag.decompose() # on détruit le tag42                else:                                              # si le tag est a l'interieur d'un <a>43                    #print("parent decomp")44                    sub_title_tag.parent.decompose() # on détruit le tag parent45    except Exception as e:46        pass47    48 49 50    text = main_text_soup.text.strip() # texte51 52    #suppression de la ville au début53    if(re.search(r"\s-\s",text[:20])): #cherche pour ville dans 20 premiers chars54      city_endpos = re.search(r"\s-\s",text[:20]).end()55      text = text[city_endpos:] # supprimer la ville au début du texte56    57    #suppression des espaces entrelignes58    text = re.sub(r'\n[\t\n\s]+\n*',r"\n",text)59    60    return text61