平々凡々エンジニア

平凡で難しい悩みを解決

アプリ開発君に決めた!!

アプリ開発のきっかけ

求人を見ているとphpがほとんどで今rubyを勉強している意味はあるのか不安になってきます。

そこで現在求人で多いい技術は何かを調べたい。
では作りましょうそうしましょう。

ざっくりとしたアプリの内容

有名なエージェントサイトや求人サイトから言語やフレームワークと言ったIT技術の求人量がどれだけあるかを調べられる。また給与も把握できる。
需要が間違いなくあると思うのでwebサービスをネットに公開しよう。
おそらく表示させたい内容はグラフのみ

使いそうな技術調査

  • サイトから必要な情報を抜き出す技術(スクレイピング)
  • スクレイピングによるデータベースに大量に登録する技術
  • 表示させたいのはグラフだけれどもユーザーが欲しい情報によってグラフを変化させたい→spaのような一枚ページで完結できる技術

現在の調査状況

ログイン要求サイトは対象外として考えている

ログインしないと求人が見れないサイトにアクセスするためにはアカウント情報を扱わなければならない。セキュリティの技術力がない現状アカウント情報を扱うのはハイリスクなためログイン要求サイトは扱わないことにした。

今学べているスクレイピング

1webページからブロックを抜き出す事ができるまでになった。

今後スクレイピング周りで勉強しないといけないこと

多分使わない技術

  • 入力してから遷移する URLに検索したいワードが含まれているはずなのでわざわざ入力しなくてはならないことはないと思う。

参考文献

Mechanizeでログインしてスクレイピングする

Mechanizeを使ってログインが必要なページをスクレイピング