source = []
for j in range(100):   
    params_a = {"since_id" : str(id1),"count":200, "include_entities":"false", "include_rts":"true", "trim_user":"true", "exclude_replies":"true"} 
    req = twitter.get(url, params = params_a)
    if req.status_code == 200:
        timeline = json.loads(req.text)
        i = 0
        print(str(j)) 
        for tweet in timeline:
            source.append(tweet["text"])
            i = i + 1
            if(i == 200):
                id1 = tweet["id"]-200
    else:
        print("error")        
'''
この部分に追加でアカウントを加える
'''
　time.sleep(60)

import MeCab
mecab = MeCab.Tagger('mecabrc')
mecab.parse('')

#形態素解析を行う
def parser(text):
    mecab.parse('')
    corplist = []
    node = mecab.parseToNode(text)
    while node:
        if(len(node.surface) == 0):
            node = node.next
            continue       
        if (node.feature.split(",")[0] == u'名詞') and ((node.surface[len(node.surface) - 1].encode("utf-8")[0] >= 0xe3) and (node.surface[len(node.surface) - 1].encode("utf-8")[1] >= 0x81) and (node.surface[len(node.surface) - 1].encode("utf-8")[2] >= 0x80)):
            corplist.append(node.surface)
        node = node.next
    return corplist

#データに直接parserをかける
def analyzer(content):
    token = []
    for i in content:
        token_p = parser(i)
        token.append(token_p)
    return token

words = analyzer(source)　#単語リストとして保存

parser関数では形態素解析で得られた単語群の中から条件に合うもの(名詞に分類され、単語の初めの文字が英語でないもの)のみを実際にトピックモデルの生成に使うリストに加えています。 これでトピックモデルを生成する準備は整いました。

トピックモデルの生成

さて、後は得られた単語リストからトピックモデルを生成するだけです。トピックモデルの生成にはgensimと呼ばれるライブラリを使います。
トピックモデルを生成するためにはまず辞書と呼ばれる意味のある頻出単語群の作成と、コーパスという辞書中の各単語にそれらがどれだけの頻度で出現したのかを紐付けるリストの作成が必要になります。
以下のコード中のdictionary.filter_extremesでは上で説明した辞書に単語を加える際の条件を付加しています。今回の例で言えば、文章群全体で二回以上出現した単語でありかつ全体の1%以下の出現率である単語が辞書に加えられます。

作成したコーパスをLDAという種類のトピックモデルを生成する関数に入れてあげることで、指定したトピック数に対して単語群からトピックそのものとトピックに各単語がどれだけの割合で含まれているかを推定することができます(この節の後半でLDAについて説明をします)。

import gensim
from gensim import corpora, models, similarities

#辞書の作成
dictionary = corpora.Dictionary(words) dictionary.filter_extremes(no_below=2, no_above=0.01)

# コーパスを作成
corpus = [dictionary.doc2bow(text) for text in words]

#トピックモデルを生成
lda = gensim.models.ldamodel.LdaModel(corpus=corpus, num_topics=100)

# 各トピックの出現頻度上位を取得
topic_top = [] for topic in lda.show_topics(-1, formatted=False): topic_top.append([dictionary[int(tag[0])] for tag in topic[1]])
# 各トピックの出現頻度上位１０位をcsv形式で保存
topic_data = pandas.DataFrame(topic_top) topic_data.to_csv("topic_words1.csv", encoding="utf-8")

[映画ニュース] 松坂桃李、役所広司の“魂”が込められた「孤狼の血」キーアイテムを継承！

この時、以下のコードによって新しく取得したツイート内のどのような単語が既存のトピックに反応するのか確認してみると、​​​​​​​

print(test_words[1][2])
for i in range(len(test_words)):
    print("tweetnumber:", i)
    for j in range(len(test_words[i])):
        try:
            print(test_words[i][j], "id is", dictionary.token2id[test_words[i][j]])
        except KeyError:
            print(test_words[i][j], "is not found")

松坂桃李 id is 448
役所広司 id is 447

と、俳優の名前を含むトピックが既に存在することがわかり、

c = [(447,1), (448, 1)]
for (tpc, prob) in lda.get_document_topics(c):
    print(str(tpc) + ': '+str(prob))

146: 0.668155