mk-mode BLOG

このブログは自作の自宅サーバに構築した Debian GNU/Linux で運用しています。
PC・サーバ構築等の話題を中心に公開しております。(クローンサイト: GitHub Pages

ブログ開設日2009-01-05
サーバ連続稼働時間
Reading...
Page View 合計
Reading...
今日
Reading...
昨日
Reading...

Ruby - Twitter ツイートを形態素解析!

[ sns, プログラミング ] [ MySQL, Ruby, Twitter ]

こんばんは。

当方、自宅サーバにて、Ruby + MySQL + Twitter API で Twitter の自分のツイートをアカウント取得(2011年7月7日)以来全て保存しております。

形態素解析の勉強もかねて Ruby で解析してみました。

以下の過去記事もご参照ください。

解析結果

Twitter アカウント取得時の2011年7月7日から当記事執筆時点の2012年3月14日までの全1,712件のツイートを集計。

1.品詞別出現頻度集計

品詞別に出現頻度の多い単語上位20件を表示。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
[名詞]----------------------
名詞, . : 721
名詞, / : 441
名詞, :// : 382
名詞, http : 381
名詞, t : 284
名詞, こと : 284
名詞, co : 283
名詞, の : 240
名詞, - : 238
名詞, 1 : 220
名詞, よう : 207
名詞, 3 : 174
名詞, Ruby : 173
名詞, 人 : 170
名詞, BLOG : 155
名詞, 時 : 153
名詞, 2 : 151
名詞, 年 : 145
名詞, 日 : 138
名詞, 1 : 132
[動詞]----------------------
動詞, し : 736
動詞, いる : 422
動詞, する : 362
動詞, い : 296
動詞, ある : 238
動詞, れ : 219
動詞, さ : 215
動詞, なっ : 184
動詞, なる : 170
動詞, てる : 117
動詞, 思っ : 95
動詞, て : 79
動詞, れる : 64
動詞, み : 64
動詞, あっ : 60
動詞, 思う : 57
動詞, できる : 52
動詞, 言っ : 45
動詞, 見 : 44
動詞, でき : 44
[形容詞]--------------------
形容詞, ない : 73
形容詞, いい : 63
形容詞, 多い : 38
形容詞, 無い : 23
形容詞, やすい : 22
形容詞, 近い : 14
形容詞, 悪い : 12
形容詞, 古い : 10
形容詞, おかしい : 10
形容詞, よかっ : 10
形容詞, にくい : 9
形容詞, 欲しい : 9
形容詞, なかっ : 9
形容詞, っぽい : 9
形容詞, 難しい : 9
形容詞, 高い : 8
形容詞, 良かっ : 8
形容詞, なく : 8
形容詞, 高 : 7
形容詞, 重い : 7
[副詞]----------------------
副詞, どう : 42
副詞, よく : 34
副詞, そう : 33
副詞, 少し : 30
副詞, まだ : 27
副詞, やっぱり : 25
副詞, いつも : 25
副詞, 時々 : 18
副詞, 多分 : 17
副詞, なぜ : 17
副詞, すぐ : 16
副詞, ちょっと : 16
副詞, もっと : 15
副詞, あまり : 15
副詞, もう : 15
副詞, 結構 : 14
副詞, もちろん : 14
副詞, 実際 : 13
副詞, ほぼ : 12
副詞, ずっと : 12
[助詞]----------------------
助詞, の : 2345
助詞, が : 1768
助詞, に : 1633
助詞, は : 1324
助詞, て : 1319
助詞, で : 1082
助詞, を : 1040
助詞, と : 843
助詞, も : 531
助詞, から : 341
助詞, か : 290
助詞, ので : 172
助詞, ね : 161
助詞, って : 148
助詞, という : 112
助詞, のに : 95
助詞, だけ : 93
助詞, けど : 91
助詞, ば : 86
助詞, や : 78
[接続詞]--------------------
接続詞, でも : 45
接続詞, そして : 23
接続詞, ちなみに : 16
接続詞, だから : 14
接続詞, それとも : 11
接続詞, 実は : 9
接続詞, また : 9
接続詞, それでも : 7
接続詞, しかも : 6
接続詞, しかし : 5
接続詞, ただ : 4
接続詞, が : 4
接続詞, それにしても : 3
接続詞, すなわち : 3
接続詞, 一方 : 3
接続詞, 但し : 3
接続詞, それなら : 2
接続詞, 及び : 2
接続詞, 例えば : 2
接続詞, ないし : 2
[助動詞]--------------------
助動詞, た : 1182
助動詞, ない : 462
助動詞, だ : 327
助動詞, な : 277
助動詞, です : 157
助動詞, で : 141
助動詞, う : 123
助動詞, たら : 114
助動詞, だっ : 113
助動詞, ます : 84
助動詞, なく : 82
助動詞, なら : 47
助動詞, なかっ : 37
助動詞, まし : 36
助動詞, ず : 36
助動詞, だろ : 33
助動詞, でしょ : 30
助動詞, ん : 20
助動詞, たい : 19
助動詞, ある : 15
[連体詞]--------------------
連体詞, その : 45
連体詞, 同じ : 42
連体詞, この : 32
連体詞, そんな : 27
連体詞, 大きな : 11
連体詞, ある : 10
連体詞, どんな : 5
連体詞, いろんな : 5
連体詞, 我が : 4
連体詞, ちょっとした : 4
連体詞, とある : 4
連体詞, どの : 4
連体詞, 色んな : 3
連体詞, 単なる : 2
連体詞, どういう : 2
連体詞, あの : 2
連体詞, こんな : 2
連体詞, わが : 2
連体詞, 小さな : 2
連体詞, 亡き : 1
[感動詞]--------------------
感動詞, ありがとう : 8
感動詞, あ : 7
感動詞, ま : 5
感動詞, おめでとう : 4
感動詞, ガーン : 3
感動詞, う : 3
感動詞, お疲れ様 : 2
感動詞, あっ : 2
感動詞, ただいま : 2
感動詞, はじめまして : 1
感動詞, うーん : 1
感動詞, すみません : 1
感動詞, おお : 1
感動詞, えっ : 1
感動詞, どういたしまして : 1
感動詞, ふーん : 1
[その他]--------------------
記号, 。 : 2445
記号, 、 : 1611
記号, 」 : 803
記号, 「 : 801
記号, ! : 781
記号, ・ : 666
記号, ? : 355
記号, ) : 236
記号, ( : 235
記号, 】 : 154
記号, 【 : 153
記号, : : 32
記号, ○ : 32
接頭詞, 再 : 27
接頭詞, 第 : 26
接頭詞, 大 : 23
接頭詞, 約 : 22
接頭詞, 非 : 21
接頭詞, お : 19
記号, → : 16
[全体]----------------------
記号, 。 : 2445
助詞, の : 2345
助詞, が : 1768
助詞, に : 1633
記号, 、 : 1611
助詞, は : 1324
助詞, て : 1319
助動詞, た : 1182
助詞, で : 1082
助詞, を : 1040
助詞, と : 843
記号, 」 : 803
記号, 「 : 801
記号, ! : 781
動詞, し : 736
名詞, . : 721
記号, ・ : 666
助詞, も : 531
助動詞, ない : 462
名詞, / : 441

2.単語数別集計

1ツイート当たりの単語数を集計。

1
2
3
4
5
6
7
8
9
10
11
  1 -  10 :  48
 11 -  20 : 300
 21 -  30 : 401
 31 -  40 : 309
 41 -  50 : 257
 51 -  60 : 201
 61 -  70 : 114
 71 -  80 :  63
 81 -  90 :  18
 91 - 100 :   1
101 -     :   0

3.文字数別集計

形態素解析に関係ないが、ついでなので、文字数別にも集計してみた。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
  1 -  10 :   7
 11 -  20 :  48
 21 -  30 :  97
 31 -  40 : 161
 41 -  50 : 222
 51 -  60 : 246
 61 -  70 : 185
 71 -  80 : 172
 81 -  90 : 150
 91 - 100 : 128
101 - 110 : 101
111 - 120 :  69
121 - 130 :  70
131 - 140 :  56

今回の解析作業で自分のツイートの傾向がなんとなくですが分かりました。

以上。

Comments