AI-RECIPE-GENERATION：料理画像からレシピを自動生成するAI

AI/ML
AI-RECIPE-GENERATION：料理画像からレシピを自動生成するAI

AI-RECIPE-GENERATION：料理画像からレシピを自動生成するAI

本リポジトリは、料理の写真を入力として材料を推定し、さらに大規模言語モデル（LLM）を用いてその材料からレシピを自動生成するワークフローを提供します。CNNベースの画像分類モデルで100以上の食材カテゴリに対して94%の精度を達成し、OpenCVによる前処理で予測精度を35%改善。TensorFlow Liteへの最適化で推論時間を2.5秒未満に抑えるなど、リアルタイム性と実用性を両立させたプロジェクトです（概要・実装方針・推論最適化のポイントを技術的に解説します）。

https://github.com/Madhumethra/AI-RECIPE-GENERATION

概要

（リポジトリの概要を300字程度で説明）

GitHub

本プロジェクトは、料理画像から材料（ingredients）を検出し、その検出結果を元にLLMを用いて手順や分量を含むレシピを自動生成するパイプラインを示します。核心はCNNベースの画像分類器で、100以上の食材カテゴリーに対して94%の分類精度を主張。OpenCVを用いた前処理で精度を向上させ、TensorFlow Lite（TFLite）への変換と最適化により、推論を2.5秒未満に抑えた点が特徴です。レシピ生成工程にはLLMを組み合わせ、コンテンツ作成時間を85%短縮するとしています。初心者でも試せる構成ファイルと、モデルアーカイブ（ZIP）が同梱されています。

リポジトリの統計情報

  • スター数: 35
  • フォーク数: 0
  • ウォッチャー数: 35
  • コミット数: 4
  • ファイル数: 2
  • メインの言語: 未指定

主な特徴

  • 画像分類（CNN）による100+食材カテゴリーの識別（94%精度）
  • OpenCVを使った前処理で予測精度を35%改善
  • LLMと連携したレシピ自動生成によりコンテンツ生成を85%短縮
  • TensorFlow Lite化で実行速度を最適化し、リアルタイム寄りの推論（<2.5秒）

技術的なポイント

本プロジェクトは画像認識と生成モデル（NLP）の組み合わせにより、視覚情報から実用的なテキスト出力（レシピ）を得るエンドツーエンドのパイプラインを提示しています。技術的に注目すべき点を整理します。

  1. 画像分類モデル（CNN）
  • コアはKeras/TensorFlowで構築された畳み込みニューラルネットワーク。READMEの記述からは、Transfer Learning（事前学習済みバックボーンを利用）や独自の畳み込み層を組み合わせたハイブリッド設計を想定できます。100以上の分類ラベルを扱うため、クラス不均衡への対策（重み付け、リサンプリング、Focal Lossなど）が有効であり、精度94%はデータ準備と学習設定が整っていることを示唆します。
  1. OpenCVベースの前処理
  • 画像のコントラスト正規化、色空間変換（HSV等）、背景除去や簡易のセグメンテーション、ノイズ除去といった前処理でモデル入力の一貫性を高め、結果的に予測精度を35%改善したとあります。実際のパイプラインではリサイズ、中心クロップ、ヒストグラム均一化、物体領域抽出（輪郭検出）などが含まれている可能性が高いです。
  1. レシピ生成（LLM連携）
  • 画像分類器が出力する材料リストをプロンプトとしてLLMへ投げ、レシピの手順・分量・調理時間などを生成します。ここではプロンプト設計（few-shot例の用意）、テンプレート化、必要に応じた後処理（単位正規化や工程チェック）が重要です。LLMをAPIで呼ぶ場合のレイテンシ管理や、生成内容の信頼性評価（事後フィルタリング）も実装上のポイントになります。
  1. 推論最適化（TensorFlow Lite）
  • モデルをTFLiteに変換し、量子化（int8やfloat16）、プルーニング、最適なオペレーション選択によりモデルサイズと推論時間を削減しています。実行環境としてはCPU単独、またはNNAPIやGPU Delegatesを利用して2.5秒未満の応答を達成する工夫が考えられます。オンデバイスでの運用を想定すると、モデルのメモリフットプリント、スレッド数管理、I/Oのオーバーヘッド低減が重要です。
  1. 評価指標と改善策
  • 単純なAccuracyだけでなくPrecision/Recall、マルチラベル設定ならmAPやF1スコアで評価するのが望ましいです。誤検出によるレシピ生成の品質低下を抑えるため、信頼度閾値や人間の監督を挟む設計も有用です。将来的にはマルチタスク学習（材料検出＋領域セグメンテーション＋調理器具推定）や、より小型化した言語モデル（オンデバイスLLM）の組み込み検討が考えられます。

これらの要素が組み合わさることで、単なる分類器ではなく「写真→材料→レシピ」という実用的な垂直統合アプリケーションを実現しています。公開されているアーカイブやREADMEを起点に、データ前処理やモデル変換の具体実装を追うことで、モバイル寄りの食認識アプリやコンテンツ自動生成サービスのプロトタイプを素早く構築できます。

プロジェクトの構成

主要なファイルとディレクトリ：

  • README.md: file
  • Recipe-Generation-from-Food-Image-main.zip: file

まとめ

（総評を50字程度で） 画像認識とLLMを実用的に結合したレシピ自動生成のプロトタイプ。モバイル実装を見据えた最適化が評価点。

リポジトリ情報：

  • 名前: AI-RECIPE-GENERATION
  • 説明: Recipe Generation from Food Image– Developed a CNN-based image classification model achieving 94% accuracy across 100+ ingredients.– Integrated LLM-based automation for recipe generation, reducing content creation time by 85%.– Optimized inference using TensorFlow Lite for real-time processing under 2.5 seconds.– Improved prediction precision by 35
  • スター数: 35
  • 言語: null
  • URL: https://github.com/Madhumethra/AI-RECIPE-GENERATION
  • オーナー: Madhumethra
  • アバター: https://avatars.githubusercontent.com/u/162906526?v=4

READMEの抜粋：

AI-RECIPE-GENERATION

Recipe Generation from Food Image – Developed a CNN-based image classification model achieving 94% accuracy across 100+ ingredients. – Integrated LLM-based automation for recipe generation, reducing content creation time by 85%. – Optimized inference using TensorFlow Lite for real-time processing under 2.5 seconds. – Improved prediction precision by 35% using OpenCV-based preprocessing techniques

Tech Stack

Deep Learning: TensorFlow, Keras Computer Vision: OpenCV Model …