はじめに この記事では、LangGraphとFirecrawlを使用して、企業のWebサイトから特定の情報を抽出するWebスクレインピングエージェントを構築する方法を紹介します。具体的には、企業のホームページから社長の名前を取得する方法を解説します。 参考にさせていただいた動画 この動画では特定のキーワードをホームページから取得していますが、今回は正規表現では取得できないより抽象的な情報を取得することに挑戦しました。 使用技術 LangGraph LangGraphは、AIエージェントを作るためのツールで、複雑な処理をいい感じに管理してくれる便利なフレームワークです。状態遷移グラフを使って、どの処理をどの順番でやるかを分かりやすく設計できます。 特徴: 処理の流れを図にして確認できる（Mermaid図対応） 条件分岐や並列処理ができて柔軟 タスクの状態を一括管理 本プロジェクトでの役割:
2018/08/16 に Google Cloud Functions が Puppeteer をサポートしました Introducing headless Chrome support in Cloud Functions and App Engine Puppeteer が使えるようになったので、ヘッドレス Chrome を利用したスクレイピングが Cloud Functions でおこなえるようになりました。 Node v8 にも対応したので async/await も使えますよ！ しかし Cloud Functions の単体利用は使い勝手がちょっと悪いです。 それを補うために Google Apps Script（GAS）と併用します。 GAS を利用することでスプレッドシートに書き込んでデータの保存場所としたり、メールを送ったりなどが簡単に行なえます。 この2つを使う最大のメリ
var fs = require('fs'); var client = require('cheerio-httpcli'); // ①ダウンロードマネージャーの設定(全ダウンロードイベントがここで処理される) client.download .on('ready', function (stream) { stream.pipe(fs.createWriteStream('/path/to/image.png')); console.log(stream.url.href + 'をダウンロードしました'); }) .on('error', function (err) { console.error(err.url + 'をダウンロードできませんでした: ' + err.message); }) .on('end', function () { console.log('ダウンロードが
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
