Practice_Review(ウェブ演習・スクレイピング集)

Web

概要

このリポジトリは、作者がWeb開発とスクレイピングを学ぶ過程で作成したコード群をまとめたものです。目立つ部分としては、Requests・Selenium・Scrapyといった複数のスクレイピング手法を扱った実践サンプルと、Vue 3 をフロントに、Spring Boot + MyBatis-Plus をバックエンドに使った「智能期末复习题库系统(Exam Practice System)」のサンプルアプリケーションが含まれます。データベース初期化用のSQLやフロント/バックのディレクトリ分割がされており、学習やプロトタイプ作成に適した構成です。

GitHub

リポジトリの統計情報

  • スター数: 10
  • フォーク数: 1
  • ウォッチャー数: 10
  • コミット数: 13
  • ファイル数: 10
  • メインの言語: Vue

主な特徴

  • Requests / Selenium / Scrapy を使った複数のスクレイピング実践サンプルを収録
  • Vue 3 + Naive UI を用いたシンプルなフロントエンド実装
  • Spring Boot(2.7.18)+ MyBatis-Plus によるバックエンドと MySQL 用 SQL スクリプト
  • フロント/バックエンドが分離された学習用モノレポ構成

技術的なポイント

本リポジトリは「スクレイピング技術」と「フルスタックWebアプリ開発」の両面を学べる構成になっています。スクレイピング面では、軽量なHTTPクライアントであるRequestsを使った基本的な取得、JavaScript依存ページに対応するSeleniumによるブラウザ自動化、そしてより大規模なクローリング向けのフレームワークScrapyの導入例があることが想定され、用途に応じた道具の使い分けが学べます。データの格納や確認に使う check_data.sql が含まれており、スクレイピングで得たデータをRDBに投入して検証するワークフローを実践できます。

フルスタック実装面では、フロントが Vue 3(Composition API 想定)と Naive UI を使い、コンポーネント駆動でUIを構成。バックエンドは Spring Boot で REST API を提供し、MyBatis-Plus による簡潔な CRUD 実装でデータアクセス層を実装しています。こうした組み合わせは学習コストが低く、開発スピードが速いのが利点です。注意点としては、スクレイピングの運用時におけるリクエスト間隔制御、IPブロック回避(プロキシの導入)、robots.txt と利用規約の遵守、そしてAPI側では CORS・認証・レートリミットといったセキュリティ対策が必要になります。将来的な改善案としては、スクレイピング処理の非同期化やキュー(RabbitMQ/Redis)を使ったワークフロー化、テストカバレッジの強化、Dockerによる開発環境の容易な再現などが考えられます。

プロジェクトの構成

主要なファイルとディレクトリ:

  • .gitignore: file
  • README.md: file
  • backend: dir
  • check_data.sql: file
  • frontend: dir

…他 5 ファイル

まとめ

スクレイピングとVue/Springの学習用にバランス良くまとめられた実践リポジトリです。

リポジトリ情報:

  • 名前: Practice_Review
  • 説明: 🚀 Record My Journey to Conquer the World Wide Web! This repository contains all my web crawler practice codes. From mastering the basics of Requests 📡, to brute-forcing with Selenium 🤖, and diving deep into the Scrapy framework 🕷️. I’m weaving a web to capture data from across the internet!
  • スター数: 10
  • 言語: Vue
  • URL: https://github.com/IceYuanyyy/Practice_Review
  • オーナー: IceYuanyyy
  • アバター: https://avatars.githubusercontent.com/u/184738521?v=4

READMEの抜粋:

📚 Exam Practice System

✨ 智能期末复习题库系统

[ Vue 3 | Spring Boot | MyBatis-Plus | Naive UI ]