#まずはもろもろインポート
import re
import csv
import time
import pandas as pd
import matplotlib.pyplot as plt
import MeCab
import random
%matplotlib inline
# 歌詞の読み込み
title = 'nishino'
f = open(title+'.txt')
lyrics_df = f.read()  # ファイル終端まで全て読んだデータを返す
f.close()
# MeCabインスタンス作成
m = MeCab.Tagger('')

print(m.parse(lyrics_df))

# PN_TABLE辞書の読み込み
pn_df = pd.read_csv('pn_ja.dic',\
sep=':',
encoding='utf-8',
names=('Word','Reading','POS', 'PN')
)

# テキストを形態素解析して辞書のリストを返す関数
def get_diclist(lyrics):
parsed = m.parse(lyrics)      # 形態素解析結果（改行を含む文字列として得られる）
lines = parsed.split('\n')  # 解析結果を1行（1語）ごとに分けてリストにする
lines = lines[0:-2]         # 後ろ2行は不要なので削除
diclist = []
for word in lines:
l = re.split('\t|,',word)  # 各行はタブとカンマで区切られてるので
d = {'Surface':l[0], 'POS1':l[1], 'POS2':l[2], 'BaseForm':l[7]}
diclist.append(d)
return(diclist)
# PN Tableをデータフレームからdict型に変換しておく
word_list = list(pn_df['Word'])
pn_list = list(pn_df['PN'])  # 中身の型はnumpy.float64
pn_dict = dict(zip(word_list, pn_list))
# 形態素解析結果の単語ごとdictデータにPN値を追加する関数
def add_pnvalue(diclist_old):
diclist_new = []
for word in diclist_old:
base = word['BaseForm']        # 個々の辞書から基本形を取得
if base in pn_dict:
pn = float(pn_dict[base]) # pnの中身があれば追加
else:
pn = 'notfound' # 中身がなければnotfound
word['PN'] = pn
diclist_new.append(word)
pn_list = []
textlist = []
for word in diclist_new:
pn = word['PN']
text = word['BaseForm']
if pn != 'notfound': # notfoundじゃなかったら追加
pn_list.append(pn)
textlist.append(text)
return(pn_list, textlist)

dl_old = get_diclist(lyrics_df)
pn_list, text_list= add_pnvalue(dl_old)
    
# 本文、PN値を格納したデータフレームを作成
aura_df = pd.DataFrame({'text':text_list,
                        'PN':pn_list,
                       },
                       columns=['text', 'PN']
                      )

plt.plot(pn_list)
plt.title(title)
plt.show