data scraper agent

任意のパブリックソース（ジョブボード、価格、ニュース、GitHub、スポーツなど）用の完全自動化されたAI搭載データ収集エージェントを構築します。スケジュールでスクレイプし、無料LLM（Gemini Flash）でデータを豊かにし、Notion/Sheets/Supabaseに結果を保存し、ユーザーフィードバックから学習します。GitHub Actions上で100％無料で実行。ユーザーがパブリックデータを自動的に監視、収集、または追跡したい場合に使用します。

GitHub

githubcommunity

0.0

0 installs262.1K GitHub starsby affaan-m

Skill Introduction

Overview

Core value

Turns reusable Testing know-how into an installable skill, helping users complete github, community work faster.

Target users

Developers, testers, and maintainers who handle Testing tasks in Focus Code.
Teams that already trust workflows or content from affaan-m.
Users who want standardized prompts, steps, or conventions instead of repeating setup work.

Best practices

Read the skill content first to confirm required inputs, expected outputs, and dependencies.
Try it on a small task before relying on it for critical work.
Add project-specific constraints such as coding style, target platform, test expectations, and delivery format.
For external sources, verify the source link, version, and recent maintenance activity.

Best use cases

Tasks related to github, community that need a reusable execution flow.
Converting a community repo, team convention, or personal workflow into day-to-day assistance.
Starting from a proven skill instead of writing prompts or procedures from scratch.

Limits and boundaries

Results depend on the quality of the original skill content and may need human correction.
It does not replace code review, tests, security review, or professional judgment.
External tools, APIs, account permissions, and local dependencies still need separate setup.

Differentiation

Structured around Testing, making it easier to discover and reuse than loose prompt snippets.
Marked as GitHub, which helps users judge trust and maintenance expectations.
Keeps the original source link available for repository, documentation, or discussion follow-up.
Tagged with github, community, so it can be filtered by concrete task intent.

Install and use

Install

Copy Install Command

focus install data-scraper-agent-382102

View source

Detail Preview

SKILL.md

Primary filemarkdown3 KB

name: data-scraper-agent description: 任意のパブリックソース（ジョブボード、価格、ニュース、GitHub、スポーツなど）用の完全自動化されたAI搭載データ収集エージェントを構築します。スケジュールでスクレイプし、無料LLM（Gemini Flash）でデータを豊かにし、Notion/Sheets/Supabaseに結果を保存し、ユーザーフィードバックから学習します。GitHub Actions上で100％無料で実行。ユーザーがパブリックデータを自動的に監視、収集、または追跡したい場合に使用します。 origin: community

データスクレイパーエージェント

任意のパブリックデータソース用の本番環境対応、AI搭載データ収集エージェントを構築。スケジュールで実行され、無料LLMで結果を豊かにし、データベースに保存し、時間とともに改善されます。

スタック：Python · Gemini Flash（無料） · GitHub Actions（無料） · Notion / Sheets / Supabase

アクティベーション時期

ユーザーが任意のパブリックWebサイトまたはAPIをスクレイプまたは監視したい場合
ユーザーが「チェックするボットを構築」「Xを監視」「データを収集」と言う
ユーザーがジョブ、価格、ニュース、リポ、スポーツスコア、イベント、リストを追跡したい場合
ユーザーがホスティング用に支払わずにデータ収集を自動化する方法を尋ねる
ユーザーが決定に基づいて時間とともによりスマートになるエージェントを望む

コアコンセプト

3つのレイヤー

すべてのデータスクレイパーエージェントには3つのレイヤーがあります：

COLLECT → ENRICH → STORE
  │           │        │
Scraper    AI (LLM)  Database
runs on    scores/   Notion /
schedule   summarises Sheets /
           & classifies Supabase

無料スタック

Layer	Tool	Why
COLLECT	Playwright/BeautifulSoup	無料のオープンソーススクレイピング
ENRICH	Gemini Flash	無料で高速LLM
STORE	Supabase / Sheets	無料データベースとスプレッドシート
SCHEDULE	GitHub Actions	無料クロンジョブ

ワークフロー

ソースを定義 - どこからスクレイプするか、何を抽出するか
スクレイパーを構築 - BeautifulSoup または Playwright ベースのコレクタ
LLMを構成 - Gemini Flash でテキストをスコア付け/要約/分類
ストレージを設定 - Notion、Sheets、Supabase のいずれか
GitHub Actions を設定 - 毎日/毎週実行するスケジュール
フィードバックループを追加 - ユーザーの判断から学習

例

ジョブボード監視：新しい公開

Reviews

Overall rating

0.0

0 comments

No reviews yet