…学の休講情報ページをHtml Agility Packを使ってスクレイピングする 先ほどの図の①の電気通信大学の休講情報ページから休講情報の取得処理ではスクレイピングしているのですが、そのスクレイピングをするために使っているのは以下のツールとライブラリ(?)です。 Visual Studio 2013 ライブラリ： Html Agility Pack ライブラリ： AWS SDK for .NET ライブラリ： Json.NET 12月に入ってからこのブログで「Html Ag…

…す。 この記事では、HTMLを取得して解析して特定のデータを取得する方法を考えてみましょう。 ウェブスクレイピングとは さて、本題に入る前にスクレイピングとは何でしょうか。うーん……悩んだときにはWikipedia先生に聞いてみましょう。 ウェブスクレイピングは多くの検索エンジンによって採用されている、ボットを利用してウェブ上の情報にインデックス付けを行うウェブインデクシングと密接な関係がある。(中略)ウェブスクレイピングの用途は、オンラインでの価格比較、気象データ監視、ウェ…

Html Agility Packという.NET Framework向けに書かれたHTMLパーサーライブラリがあります。このライブラリはC#から利用することができます。簡単にウェブスクレイピングすることができます。 今日もリスト形式で並んでいるデータを取得してみましょう。過去に「 WindowsPhoneアプリ開発入門」でも題材に使った秀和システムの新刊情報をスクレイピングしてみましょう 昨日の記事とほとんどやっていることは同じですが、昨日はtableタグ上のデータを取得した…

…が参加してみます。 Html Agility Packという.NET Framework向けに書かれたHTMLパーサーライブラリがあります。このライブラリはC#から利用することができます。簡単にウェブスクレイピングすることができます。 豊橋技術科学大学の休講情報を試しにパースしてみましょう。TUT休講情報botが存在しているので、学内の方もおそらく同じようにスクレイピングしているのではないかと思いますが、休講情報は下図のようにとても綺麗なTable構造になっています。 このペ…

Html Agility Packという.NET Framework向けに書かれたHTMLパーサーライブラリがあります。このライブラリはC#から利用することができ、簡単にウェブスクレイピングすることができます。 株価を調べる際に「Yahoo!ファイナンスは20分遅れの株価を表示しているので、株価を見たいなら証券会社のサイトを開く」という習慣がついてしまったのですが、先日たまたまTwitterで株価に関する話題が出たので調べると株価がリアルタイム表示されていました。@bird9…

Html Agility Packという.NET Framework向けに書かれたHTMLパーサーライブラリがあります。このライブラリはC#から利用することができます。簡単にウェブスクレイピングすることができます。 まずは最初ということで、このブログ(blog.ch3cooh.jp)のタイトルを取得してみましょう。 以下のサンプルコードでやっていることは、とても簡単でHttpClientクラスを使って取得したHTML(のストリーム)をHtmlAgilityPack.HtmlD…

…ファイルを作成する Html Agility Pack Html Agility Packを使ってHTMLをスクレイピングする 基本的なプログラミングTips Xamarin.iOSを使ってiPhoneやiPadなどのiOSアプリ開発をする上で、基本的なプログラミングのTipsを紹介します。ほとんどC#の説明になっているところもあります。 文字列操作 正規表現を使う 日時操作 Xamarin.iOSで現在時刻を取得する - 酢ろぐ！ ハッシュ操作 タスク処理と並列処理 Xam…

楽天証券の口座開設のご案内が届きました。月曜日に必要な書類を送付して土曜日に開設とは、楽天証券さんは働き者だなぁ。 マーケットスピード(及び楽天RSS)は、開設より3ヶ月間のみ無料で利用出来ます。以降は3ヶ月15,750円掛かってしまいますので、早速楽天RSSとDDE通信させてみる事にします。 とっちゃんさんが仰るとおり.NETからDDEを扱うのは一筋縄ではいきそうでは無いので、ズボラな僕は「NDde」というライブラリを使ってみました。 マーケットスピードと楽天RSSを起動し…