Python文本可视化：词云图

!pip install jieba

!pip install wordcloud

from sklearn.feature_extraction.text import TfidfVectorizer
X_test = ["互联网 技术 报告","人工智能 技术 报告"]
tfidf=TfidfVectorizer()
weight=tfidf.fit_transform(X_test).toarray()
word=tfidf.get_feature_names()
print (weight)
for i in range(len(weight)):  
    print (u"第", i, u"篇文章的tf-idf权重特征")
    for j in range(len(word)):
        print (word[j], weight[i][j])

corpus = ["This is the first document.",                     "This document is the second document.",                     "And this is the third one.",                     "Is this the first document?"] #初始化 vector = TfidfVectorizer()#tf-idf计算  tfidf  = vector.fit_transform(corpus)  #直接打印，得到的是一个稀疏矩阵，第1位表示文档编号，第二位代表词的编号 print(tfidf) (0, 1)  0.46979138557992045 (0, 2)  0.5802858236844359 (0, 6)  0.38408524091481483 (0, 3)  0.38408524091481483 (0, 8)  0.38408524091481483 (1, 5)  0.5386476208856763 (1, 1)  0.6876235979836938 (1, 6)  0.281088674033753 (1, 3)  0.281088674033753 (1, 8)  0.281088674033753 (2, 4)  0.511848512707169 (2, 7)  0.511848512707169 (2, 0)  0.511848512707169 (2, 6)  0.267103787642168 (2, 3)  0.267103787642168 (2, 8)  0.267103787642168 (3, 1)  0.46979138557992045 (3, 2)  0.5802858236844359 (3, 6)  0.38408524091481483 (3, 3)  0.38408524091481483 (3, 8)  0.38408524091481483

vector.vocabulary_ {"this": 8,  "is": 3,  "the": 6,  "first": 2,  "document": 1, "second": 5,  "and": 0,  "third": 7,  "one": 4}

#sklearn做了归一化处理(0, 1)  0.46979138557992045 document(0, 2)  0.58028582368443590 first(0, 6)  0.38408524091481483 the(0, 3)  0.38408524091481483 is(0, 8)  0.38408524091481483 this

document:log((1+N)/(1+N(document)))+1=  log((1+4)/(1+3))+1 = 1.2231435first   :log((1+N)/(1+N(first)))+1   =  log((1+4)/(1+2))+1 = 1.5108256the     :log((1+N)/(1+N(the )))+1    =  log((1+4)/(1+4))+1 = 1.0is      :log((1+N)/(1+N(is )))+1     =  log((1+4)/(1+4))+1 = 1.0this    :log((1+N)/(1+N(this)))+1    =  log((1+4)/(1+4))+1 = 1.0

import jiebaimport jieba.analyseimport networkx as nxfrom collections import defaultdict
def textrank_keywords(text, top_k=5, lang="zh"):    """    TextRank关键词提取    :param text: 输入文本    :param top_k: 返回关键词数量    :param lang: 语言（zh/en）    """    # 中文处理    if lang == "zh":        # 使用jieba的TextRank实现        keywords = jieba.analyse.textrank(            text,             topK=top_k,            withWeight=True,  # 返回权重            allowPOS=("n", "vn", "v")  # 仅提取名词、动名词、动词        )        return dict(keywords)
    # 英文处理（简单实现）    elif lang == "en":        # 分词并过滤停用词        words = [word.lower() for word in text.split()                 if word.isalpha() and len(word) > 2]
        # 构建共现窗口        window_size = 3        co_occur = defaultdict(int)
        for i in range(len(words)):            for j in range(i+1, min(i+window_size, len(words))):                co_occur[(words[i], words[j])] += 1
        # 构建图并计算权重        graph = nx.Graph()        for (w1, w2), count in co_occur.items():            graph.add_edge(w1, w2, weight=count)
        # PageRank计算        ranks = nx.pagerank(graph)        return dict(sorted(ranks.items(), key=lambda x: x[1], reverse=True)[:top_k])
# 示例中文文本zh_text = "自然语言处理是人工智能的重要分支，致力于让计算机理解人类语言。深度学习技术在自然语言处理中取得了显著进展。"print("中文关键词:", textrank_keywords(zh_text, lang="zh"))
# 示例英文文本en_text = "Artificial intelligence is transforming industries. Machine learning and deep learning are key technologies in AI."print("英文关键词:", textrank_keywords(en_text, lang="en"))