2026.09.18

AST AI Agents – 商品データ収集・AIデータ抽出

お客様のご要望

「AST AI Agents」プロジェクトでは、ECモールから商品情報を自動で収集・処理し、継続的に更新できるシステムの構築をお客様は希望されていました。
主なご要望は以下のとおりです。

アマゾンや楽天など、複数の情報源から商品情報を自動で収集できること
APIを利用した動的なウェブサイトからのデータ取得とCatalog PDFからのデータ取得に対応できること
形式の異なる商品情報を自動で標準化できること
大量のデータを継続的に処理できること
データの収集・処理状況を確認できること

レリパのソリューション

レリパ　(Relipa) は、複数のデータ収集方法とAIを組み合わせ、商品情報を自動で抽出・標準化する商品データ収集・AIデータ抽出システムを開発しました。

本システムは、楽天 API、アマゾンAPI、Catalog PDFの3つの方法によるデータ収集に対応しています。楽天とアマゾンから取得したデータは定期的に収集し、最新の情報をデータベースに更新します。楽天は約3時間ごと、アマゾンは1日1回の一括処理によってデータを更新します。

データを収集した後は、AIが商品情報を自動で抽出し、構造化されたデータ項目へ標準化します。データ項目の構成は商品カテゴリーごとに調整でき、PC、計測機器、家具など、それぞれの商品特性に応じた設定が可能です。

Catalog PDFについては、ドキュメントの複雑さに応じて適切な処理方法を選択します。シンプルな内容には高速な処理方法を使用し、複雑なページやスキャンされたページには、AIによる画像認識を利用して情報を読み取ることができます。

さらに、データを分割してエラーが発生した部分のみを再処理する仕組みや、正解データに基づいてデータ品質を評価する仕組みを実装しました。また、データの収集・処理状況を確認できる管理画面も備えています。

プロジェクトの開発プロセス

要件のヒアリング

必要なデータソース、収集方法、データ構造に関する要件を確認しました。

システム設計

複数の情報源からデータを収集し、抽出・標準化・保存するためのシステム構成を設計しました。

開発・テスト

データ収集、AIによるデータ抽出、データ標準化の各機能を開発し、データ処理能力やエラー発生時の復旧処理についてテストを行いました。

評価・改善

正解データと処理結果を比較して品質を評価し、その結果をもとに処理方法や処理フローを改善しました。

完成品の機能

複数の情報源からの商品データ収集

楽天 API、アマゾンAPI、Catalog PDFに対応し、異なる形式で提供される商品情報を収集できます。

商品データの自動更新

楽天のデータは約3時間ごと、アマゾンのデータは1日1回の一括処理によって収集・更新されます。処理後の最新データはデータベースに反映されます。

AIによるデータ抽出・標準化

AIが収集したデータから商品情報を自動で抽出し、形式の異なる情報を構造化されたデータ項目へ変換します。

商品カテゴリーに応じた柔軟なデータ項目設定

商品カテゴリーごとの特性に合わせてデータ項目を設定でき、それぞれの商品カテゴリーに必要な情報を管理できます。

エラー処理・再処理

データの一部でエラーが発生した場合、データを分割し、エラーが発生した部分のみを再処理できます。全体を最初から処理し直す必要はありません。

Catalog PDFからの商品情報抽出

Catalog PDFをアップロードすることで、商品情報を自動で抽出できます。複雑なドキュメントやスキャンされたページについては、AIによる画像認識を利用して情報を読み取ることができます。

商品データの統合

複数のページに掲載されている同一商品の情報を認識し、1つの商品データとして統合するとともに、重複データを削除できます。

商品画像の分類

AIが画像を分類し、商品に関連する画像を判別することで、不要な画像処理を抑えます。

データ品質の評価

正解データと抽出結果を比較することでデータ品質を評価し、処理結果の改善につなげます。

管理画面

データ収集の状況、処理状況、データの統計情報などを管理画面で確認でき、システムの稼働状況を把握できます。

完成品の特徴

一般的なツールや拡張機能では、画面をキャプチャし、AIが表示された情報を読み取る方法が用いられるケースがあります。一方、AST AI Agentsは、複数の情報源からデータを収集する仕組みを採用し、ECプラットフォームのAPIへ直接接続できるように設計されています。

特に、楽天 APIとアマゾンAPI を連携することで、システムが定期的にデータを自動収集し、最新の情報をデータベースに更新できます。そのため、ある時点で画面に表示されている情報だけを取得するのではなく、商品情報を継続的に管理できます。

また、ECモールのAPIから直接データを取得することで、画面上に表示されている情報だけを読み取る方法と比べて、より多くの商品情報を取得できる点も特徴です。

Catalog PDFについても、ユーザーがドキュメントをアップロードすることで、商品情報を自動で抽出できます。ただし、この機能自体は他のツールと比較した際の主な差別化ポイントではありません。

本システムの特徴は、複数の情報源からデータを収集・処理する一連の仕組みにあります。

楽天 API ・アマゾンAPI /・Catalog PDF → データ抽出 → AIによるデータ標準化 → 品質評価 → データベース更新

このアプローチにより、データ収集を自動化するだけでなく、定期的なデータ更新、データの標準化、利用前の品質管理まで一連の流れで対応できます。

導入効果

データ収集・処理の自動化
手作業によるデータ処理の負担を軽減できます。

データの定期的な更新
APIからデータを定期的に収集し、データベースに更新できます。

構造化されたデータの整備
複数の情報源や異なる形式の商品情報を標準化できます。

データ品質の管理
処理結果を評価する仕組みと、エラーが発生したデータを再処理する仕組みにより、データ品質を管理できます。

処理フローの最適化
データの種類や複雑さに応じて、適切な処理方法を選択できます。

大量データへの対応
複数の情報源から大量のデータを継続的に処理できます。