圏9研究所 工作室

圏9研究所の開発情報資料など

圏9微博Webスクレイピング~微博フォロアー数を解析する part01

祝100万

圏9微博のフォロワー数が最近100万を突破したのでフォロアー数を解析してみることにしました

フォロアー数は、この《粉丝》です

f:id:luke24e-hbid:20191019190853j:plain

fans

先月は、82万くらいのところ今月になって突然100万突破
短期間に25%もアップしてます
これってどういうこと?
という素朴な疑問からクローラー(モドキ)を作って解析してみます

まずは、クローラー構築から
レシピとして
第1案:正攻法
 微博APIを使う
  参考

jeffyang.top

 

第2案:模範解答
 Pythonで、Seleniumでブラウザからデータを取り込んで、BeautifulSoupでデータを抽出する
  詳しくはこの辺りに

qiita.com

これこれ、これがやりかかった プロセスが理にかなってる

 

第3案:連休で時間があるしこれもあり?
 第2案のストーリーを使わせていただいて
 Automatorからブラウザで開いて、AppleScriptでブラウザからデータを取り込んで、bashでデータを抽出する
 bashじゃなくてjavascriptでもいけますが、jsは後で使おうかと

 

検討の結果、よく見るページなのでリンクの代わりにもなる第3案で進めることにします


part02に続く

2 3 4 5 NEXT