构建AI智能体：十一、语义分析Gensim — 从文本处理到语义理解的奇妙之旅

doc1 = "我喜欢吃苹果和香蕉"
doc2 = "机器学习是人工智能的重要分支"
doc3 = "北京是中国的首都，有很多历史文化古迹"

corpus = [doc1, doc2, doc3]

from gensim import corpora
# 示例预处理文本
processed_texts = [
    ["清华大学", "和", "北京大学", "都是", "优秀", "高校"],
    ["中国", "的", "高等教育", "发展", "迅速"]
]
# 示例中文文本预处理函数
def advanced_chinese_preprocessor(text):
    # 手动分词，确保词汇与 processed_texts 中的词汇匹配
    if text == "清华大学和北京大学都是优秀高校":
        return ["清华大学", "和", "北京大学", "都是", "优秀", "高校"]
    else:
        return text.split()  # 默认行为
# 创建词典
dictionary = corpora.Dictionary(processed_texts)
print("词典大小:", len(dictionary))
# 查看词典中的词
print("前10个词:", list(dictionary.items())[:10])
# 将新文档转换为词袋向量
new_doc = "清华大学和北京大学都是优秀高校"
new_bow = dictionary.doc2bow(advanced_chinese_preprocessor(new_doc))
print("新文档的词袋表示:", new_bow)

from gensim.models import TfidfModel
# 首先创建词袋语料
corpus_bow = [dictionary.doc2bow(text) for text in processed_texts]
# 训练TF-IDF模型
tfidf_model = TfidfModel(corpus_bow)
# 将词袋转换为TF-IDF权重
corpus_tfidf = tfidf_model[corpus_bow]
# 查看TF-IDF权重
for doc in corpus_tfidf:
    print([(dictionary[id], round(weight, 3)) for id, weight in doc[:3]])  # 显示前3个词

import jieba
import re
from gensim.parsing.preprocessing import remove_stopwords
# 自定义中文停用词列表
chinese_stopwords = set([
    '的', '了', '在', '是', '我', '有', '和', '就', 
    '不', '人', '都', '一', '一个', '上', '也', '很',
    '到', '说', '要', '去', '你', '会', '着', '没有'
])
def advanced_chinese_preprocessor(text):
    """
    高级中文文本预处理函数
    步骤：
    1. 清理特殊字符
    2. 中文分词
    3. 去除停用词
    4. 词性过滤（可选）
    """
    # 步骤1: 清理文本 - 保留中文、数字、英文
    text = re.sub(r'[^\u4e00-\u9fa5a-zA-Z0-9]', ' ', text)
    # 步骤2: 使用jieba进行精确模式分词
    words = jieba.lcut(text, cut_all=False)
    # 步骤3: 过滤停用词和短词
    filtered_words = [
        word for word in words 
        if word not in chinese_stopwords 
        and len(word) > 1
        and not word.isdigit()
    ]
    return filtered_words
# 测试预处理
test_text = "清华大学位于北京市海淀区，是一所著名的985高校。"
processed = advanced_chinese_preprocessor(test_text)
print(f"原始文本: {test_text}")
print(f"处理后: {'/'.join(processed)}")

pip install gensim jieba

documents = [
    "苹果公司发布新款iPhone手机",
    "人工智能技术在医疗领域的应用",
    "北京故宫博物院举办特展",
    "机器学习算法助力金融风控",
    "上海举办国际进口博览会",
    "深度学习在图像识别中的突破",
    "清华大学科研成果获国际奖项",
    "5G通信技术改变生活方式"
]

import jieba
from gensim import corpora
# 中文分词函数
def chinese_tokenizer(text):
    # 使用jieba进行分词，并过滤掉短词
    words = jieba.cut(text)
    return [word for word in words if len(word) > 1]  # 保留长度大于1的词
# 对所有文档进行分词处理
tokenized_docs = [chinese_tokenizer(doc) for doc in documents]
print("分词结果示例：")
for i, tokens in enumerate(tokenized_docs[:2]):
    print(f"文档{i+1}: {'/'.join(tokens)}")

# 创建词典：为每个词分配唯一ID
dictionary = corpora.Dictionary(tokenized_docs)
print("词典中的词：")
for idx, word in dictionary.iteritems():
    print(f"{idx}: {word}")
# 创建词袋模型：将文档转换为数字表示
corpus_bow = [dictionary.doc2bow(doc) for doc in tokenized_docs]
print("\n词袋表示示例：")
print(f"原始文档: {documents[0]}")
print(f"词袋表示: {corpus_bow[0]}")
print("对应关系:")
for word_id, count in corpus_bow[0]:
    print(f"  {dictionary[word_id]}: {count}次")

from gensim.models import LdaModel
# 训练LDA模型，假设我们想发现3个主题
lda_model = LdaModel(
    corpus=corpus_bow,
    id2word=dictionary,
    num_topics=3,
    passes=10,  # 训练轮数
    random_state=42
)
# 查看发现的主题
print("发现的主题：")
for topic_id in range(lda_model.num_topics):
    words = lda_model.show_topic(topic_id, topn=5)  # 每个主题显示5个最重要的词
    topic_words = " + ".join([f"{prob:.3f}*{word}" for word, prob in words])
    print(f"主题 {topic_id}: {topic_words}")

from gensim.models import Word2Vec
# 准备更大的中文语料（这里用我们的小示例）
# 实际应用中需要更大规模的数据
sentences = tokenized_docs
# 训练Word2Vec模型
word2vec_model = Word2Vec(
    sentences=sentences,
    vector_size=100,  # 词向量维度
    window=5,         # 上下文窗口大小
    min_count=1,      # 忽略出现次数少于1的词
    workers=4         # 使用4个CPU核心
)
# 查找相似词
try:
    similar_words = word2vec_model.wv.most_similar('技术', topn=3)
    print("\n与'技术'最相似的词：")
    for word, score in similar_words:
        print(f"{word}: {score:.3f}")
except KeyError:
    print("词语不在词汇表中")
# 进行词向量运算：北京 - 中国 + 法国 ≈ 巴黎
# result = word2vec_model.wv['北京'] - word2vec_model.wv['中国'] + word2vec_model.wv['法国']
# similar_words = word2vec_model.wv.similar_by_vector(result, topn=3)

import jieba
from gensim import corpora
from gensim.models import LdaModel
import re
# 1. 准备数据
news_articles = [
    "气候变化导致全球气温持续上升，极端天气事件频发",
    "新能源汽车销量大幅增长，锂电池技术不断创新",
    "数字货币试点范围扩大，区块链应用场景丰富",
    "疫苗接种率提高，群体免疫逐步形成",
    "远程办公成为新常态，云计算需求激增",
    "乡村振兴战略实施，农村电商快速发展",
    "人工智能在教育领域的应用越来越广泛",
    "碳中和目标推动绿色能源产业发展"
]
# 2. 中文预处理
def preprocess_chinese_text(text):
    # 去除非中文字符
    text = re.sub(r'[^\u4e00-\u9fa5]', ' ', text)
    # 分词
    words = jieba.cut(text)
    # 过滤停用词和短词
    stopwords = set(['的', '了', '在', '是', '我', '有', '和', '就', '不', '人', '都', '一', '一个', '上', '也', '很', '到', '说', '要', '去', '你', '会', '着', '没有', '看', '好', '自己', '这'])
    return [word for word in words if word not in stopwords and len(word) > 1]
# 处理所有文档
processed_docs = [preprocess_chinese_text(doc) for doc in news_articles]
# 3. 创建词典和词袋
dictionary = corpora.Dictionary(processed_docs)
corpus = [dictionary.doc2bow(doc) for doc in processed_docs]
# 4. 训练LDA模型
lda_model = LdaModel(corpus=corpus, id2word=dictionary, num_topics=3, passes=15)
# 5. 可视化主题
print("发现的主题及其关键词：")
for topic_id in range(lda_model.num_topics):
    words = lda_model.show_topic(topic_id, topn=6)
    print(f"\n主题 #{topic_id}:")
    for word, prob in words:
        print(f"  {word} ({prob:.3f})")
# 6. 对新文档进行分类
new_doc = "太阳能发电技术取得重大突破"
new_doc_processed = preprocess_chinese_text(new_doc)
new_doc_bow = dictionary.doc2bow(new_doc_processed)
print(f"\n新文档 '{new_doc}' 的主题分布：")
for topic_id, prob in lda_model[new_doc_bow]:
    print(f"主题 {topic_id}: {prob:.3f}")