PYTHON ПОИСК КЛЮЧЕВЫХ СЛОВ В ТЕКСТЕ

Поиск ключевых слов в тексте - обычная задача в обработке естественного языка. В Python для этого существует несколько библиотек, например, re и nltk.

Библиотека re позволяет использовать регулярные выражения для поиска строк в тексте. Например, чтобы найти все вхождения слова "python" в строке, можно использовать следующий код:

import re
text = "Python is a popular programming language. Python is versatile and easy to learn."
matches = re.findall('python', text, re.IGNORECASE)
print(matches)

Библиотека nltk (Natural Language Toolkit) имеет более продвинутые возможности для анализа текста, включая поиск ключевых слов и фраз. Например, чтобы найти наиболее часто встречающиеся слова в тексте, можно использовать следующий код:

import nltk
from nltk.tokenize import word_tokenize
from nltk.corpus import stopwords
text = "Python is a popular programming language. It was created by Guido van Rossum."
tokens = word_tokenize(text)
tokens_without_stopwords = [token for token in tokens if token.lower() not in stopwords.words('english')]
freq_dist = nltk.FreqDist(tokens_without_stopwords)
print(freq_dist.most_common(5))

Этот код сначала разбивает текст на слова с помощью tokenization, затем удаляет стоп-слова (например, "is", "a", "it") и подсчитывает частоту каждого слова с помощью FreqDist. В этом примере наиболее часто встречающимися словами будут "Python" и "programming".