Practice_Review(ウェブ演習・スクレイピング集)
概要
このリポジトリは、作者がWeb開発とスクレイピングを学ぶ過程で作成したコード群をまとめたものです。目立つ部分としては、Requests・Selenium・Scrapyといった複数のスクレイピング手法を扱った実践サンプルと、Vue 3 をフロントに、Spring Boot + MyBatis-Plus をバックエンドに使った「智能期末复习题库系统(Exam Practice System)」のサンプルアプリケーションが含まれます。データベース初期化用のSQLやフロント/バックのディレクトリ分割がされており、学習やプロトタイプ作成に適した構成です。
リポジトリの統計情報
- スター数: 10
- フォーク数: 1
- ウォッチャー数: 10
- コミット数: 13
- ファイル数: 10
- メインの言語: Vue
主な特徴
- Requests / Selenium / Scrapy を使った複数のスクレイピング実践サンプルを収録
- Vue 3 + Naive UI を用いたシンプルなフロントエンド実装
- Spring Boot(2.7.18)+ MyBatis-Plus によるバックエンドと MySQL 用 SQL スクリプト
- フロント/バックエンドが分離された学習用モノレポ構成
技術的なポイント
本リポジトリは「スクレイピング技術」と「フルスタックWebアプリ開発」の両面を学べる構成になっています。スクレイピング面では、軽量なHTTPクライアントであるRequestsを使った基本的な取得、JavaScript依存ページに対応するSeleniumによるブラウザ自動化、そしてより大規模なクローリング向けのフレームワークScrapyの導入例があることが想定され、用途に応じた道具の使い分けが学べます。データの格納や確認に使う check_data.sql が含まれており、スクレイピングで得たデータをRDBに投入して検証するワークフローを実践できます。
フルスタック実装面では、フロントが Vue 3(Composition API 想定)と Naive UI を使い、コンポーネント駆動でUIを構成。バックエンドは Spring Boot で REST API を提供し、MyBatis-Plus による簡潔な CRUD 実装でデータアクセス層を実装しています。こうした組み合わせは学習コストが低く、開発スピードが速いのが利点です。注意点としては、スクレイピングの運用時におけるリクエスト間隔制御、IPブロック回避(プロキシの導入)、robots.txt と利用規約の遵守、そしてAPI側では CORS・認証・レートリミットといったセキュリティ対策が必要になります。将来的な改善案としては、スクレイピング処理の非同期化やキュー(RabbitMQ/Redis)を使ったワークフロー化、テストカバレッジの強化、Dockerによる開発環境の容易な再現などが考えられます。
プロジェクトの構成
主要なファイルとディレクトリ:
- .gitignore: file
- README.md: file
- backend: dir
- check_data.sql: file
- frontend: dir
…他 5 ファイル
まとめ
スクレイピングとVue/Springの学習用にバランス良くまとめられた実践リポジトリです。
リポジトリ情報:
- 名前: Practice_Review
- 説明: 🚀 Record My Journey to Conquer the World Wide Web! This repository contains all my web crawler practice codes. From mastering the basics of Requests 📡, to brute-forcing with Selenium 🤖, and diving deep into the Scrapy framework 🕷️. I’m weaving a web to capture data from across the internet!
- スター数: 10
- 言語: Vue
- URL: https://github.com/IceYuanyyy/Practice_Review
- オーナー: IceYuanyyy
- アバター: https://avatars.githubusercontent.com/u/184738521?v=4
READMEの抜粋:
📚 Exam Practice System
✨ 智能期末复习题库系统
[ Vue 3 | Spring Boot | MyBatis-Plus | Naive UI ]