Selenium Basic SeleniumBasicを使いTorネットワーク経由でWeb操作（スクレイピング）を自動化する方法
SeleniumBasicとTor Browserを使ってTorネットワーク経由でWeb操作やデータ取得（スクレイピング）を自動化します。最新のSelenium BasicとTor Browser、そして古いFireFoxが必要です。 事前...
Selenium Basic 
覚え書き SeleniumBasicをインストールしてExcel(VBA)からWebスクレイピングを行うまでのチュートリアル（サンプルプログラム付き）
Selenium Basicの入手 Selenium Basicは、ChromeやEdge、IEなどをVBAなど外部プログラムから制御するためのライブラリです。以下のページにアクセスして Downloadと書かれているすぐ下のリンクをクリッ...
日記 Yahoo!ショッピングにて広島県産コシヒカリ900gを送料込み実質0円(無料)でゲットしました！
久々にYahooショッピング画面を見ると499円OFFクーポンが配布されていました。 残り日数が２日間しかないため、あまり悩んでいる時間はありません。広島県産コシヒカリ900gが送料込み500円でしたので、これに決めました。Yahooポイン...
覚え書き .Net環境で’Selenium Type Library’への参照を追加できませんでした。と表示されてしまうときの回避方法
Microsoft Visual Studio 2017 で、Selenium BasicのCOM参照をすると、 ’Selenium Type Library'への参照を追加できませんでした。 ActiveX タイプライブラリ 'C:\Us...
覚え書き Twitter Streaming APIをPHPから使うMEMO
ここからphirehoseを落としてくる サンプルプログラムをコピーし、以下のphpプログラムを作成する とりあえず指定キーワードを含んだTwitterのタイムラインを眺めたいという目的は達成。 キーワードで絞り込まず、全体のTLの一部を取...
日記 Visual studio code上でphpをデバッグする際に設定すべき事覚え書き
新規フォルダでphp開発を行う時、launch.json に記述すべき内容をよく忘れるので覚え書き これでいけるはず。
覚え書き 不要なクローラーからのアクセスや悪質なスクレイパーからのアクセスを一発で排除する方法
とある過疎blog(どこだろう？ここかな？）のアクセス統計見ていたらこんなログが、 ユーザーエージェントを見ると、 Mozilla/5.0 (compatible; SemrushBot/1.2~bl; + robots.txtを見ている形...
覚え書き おーぷん２ちゃんねるからdatを取得する際に調べたときの覚え書き
例）ブラウザゲーム＠おーぷん２ちゃんねるのスレを取得 ブラウザゲーにアクセス スレッド一覧 どれでも良いのでURLを取得 正規表現等dで置換 /test/read.cgi/gameswf/ → /gameswf/dat/ /l50 → .d...
技術メモ PIXTA納品用に動画を変換する際、覚えておくと便利なffmpegコマンド
PIXTAは4K画像に対応していないため、SONY FDR-AX100で撮影した4K映像をFullHDに縮小する必要があります。 また水や花火などの映像を除き、無音が推奨されています。 撮って出しが多いため、ffmpegで納品に適した画像フ...
技術メモ ChromeでYouTubeの動画を見ようとすると、「すぐに再生が開始しない場合は、端末を再起動してください」を解決させるまでに試したこと覚書
いつも使っているChromeで、YouTubeの動画を再生しようとすると、バッファリングが始まったと思ったらいつまでたっても再生時間が0:00のまま、しばらくすると、「すぐに再生が開始しない場合は、端末を再起動してください」と表示される現象...