ПАРСИНГ НОВОСТЕЙ PYTHON

Парсинг новостей является одним из наиболее популярных способов получения информации из различных источников в интернете. Python – язык программирования, который позволяет реализовать парсинг в несколько строк кода. Для работы с HTML-кодом можно использовать библиотеку Beautiful Soup.

Beautiful Soup – это парсер HTML и XML-документов, который позволяет извлекать нужную информацию с помощью удобного API. Например, чтобы получить заголовок новости с сайта Коммерсанта, можно воспользоваться следующим кодом:

import requests
from bs4 import BeautifulSoup

url = 'https://www.kommersant.ru/'
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
r = requests.get(url, headers=headers)

soup = BeautifulSoup(r.text, 'html.parser')
title = soup.find('span', class_='article__title-text')
print(title.text)

В данном примере мы сначала отправляем GET-запрос на сайт Коммерсанта с заголовком User-Agent, чтобы не столкнуться с блокировкой ботов. Затем мы передаем HTML-код страницы в Beautiful Soup и ищем элемент span с классом article__title-text, который содержит заголовок статьи. Затем мы выводим полученный заголовок на экран.

Кроме Beautiful Soup, для парсинга новостей в Python также часто используют библиотеки requests, lxml и scrapy. Работая с этими инструментами, можно извлекать информацию о новостях, сохранять ее в базе данных или в файлы и использовать для разных целей.