Selenium Basic SeleniumBasicを使いTorネットワーク経由でWeb操作（スクレイピング）を自動化する方法
SeleniumBasicとTor Browserを使ってTorネットワーク経由でWeb操作やデータ取得（スクレイピング）を自動化します。最新のSelenium BasicとTor Browser、そして古いFireFoxが必要です。事前に...
技術メモ
Selenium Basic 
覚え書き SeleniumBasicをインストールしてExcel(VBA)からWebスクレイピングを行うまでのチュートリアル（サンプルプログラム付き）
Selenium Basicの入手Selenium Basicは、ChromeやEdge、IEなどをVBAなど外部プログラムから制御するためのライブラリです。以下のページにアクセスして Downloadと書かれているすぐ下のリンクをクリック...
覚え書き .Net環境で’Selenium Type Library’への参照を追加できませんでした。と表示されてしまうときの回避方法
Microsoft Visual Studio 2017 で、Selenium BasicのCOM参照をすると、’Selenium Type Library'への参照を追加できませんでした。ActiveX タイプライブラリ'C:\Users...
覚え書き Twitter Streaming APIをPHPから使うMEMO
ここからphirehoseを落としてくるサンプルプログラムをコピーし、以下のphpプログラムを作成するとりあえず指定キーワードを含んだTwitterのタイムラインを眺めたいという目的は達成。キーワードで絞り込まず、全体のTLの一部を取得した...
覚え書き 不要なクローラーからのアクセスや悪質なスクレイパーからのアクセスを一発で排除する方法
とある過疎blog(どこだろう？ここかな？）のアクセス統計見ていたらこんなログが、ユーザーエージェントを見ると、Mozilla/5.0 (compatible; SemrushBot/1.2~bl; +robots.txtを見ている形跡もな...
覚え書き おーぷん２ちゃんねるからdatを取得する際に調べたときの覚え書き
例）ブラウザゲーム＠おーぷん２ちゃんねるのスレを取得 ブラウザゲーにアクセス スレッド一覧 どれでも良いのでURLを取得 正規表現等dで置換 /test/read.cgi/gameswf/ → /gameswf/dat/ /l50 → .d...
技術メモ PIXTA納品用に動画を変換する際、覚えておくと便利なffmpegコマンド
PIXTAは4K画像に対応していないため、SONY FDR-AX100で撮影した4K映像をFullHDに縮小する必要があります。また水や花火などの映像を除き、無音が推奨されています。撮って出しが多いため、ffmpegで納品に適した画像フォー...
技術メモ ChromeでYouTubeの動画を見ようとすると、「すぐに再生が開始しない場合は、端末を再起動してください」を解決させるまでに試したこと覚書
いつも使っているChromeで、YouTubeの動画を再生しようとすると、バッファリングが始まったと思ったらいつまでたっても再生時間が0:00のまま、しばらくすると、「すぐに再生が開始しない場合は、端末を再起動してください」と表示される現象...
技術メモ Windows10のスタートアップにプログラムを登録する方法
Windows XP時代だと、左下のWindowsメニューにスタートアップが表示されていたので、そこで右クリックしてエクスプローラーを選ぶとスタートアップフォルダが開かれたのだけどね。 いつからかWindowsメニューにスタートアップが表示...
技術メモ コアサーバー上のWordPressを無料で常時SSL化したときの覚書
このBlogはValue-domainのコアサーバーを使っています。手探りで常時SSL化したものの、あまりにもあっさりSSL化できてしまったのでかなり忘れかけています。もう一度設定、もしくは別サイトをSSL化するときのための覚書です。タイト...