キーウォーカー、人工知能を訓練するためのデータ収集サービスを開始
[17/09/21]
提供元:PRTIMES
提供元:PRTIMES
ディープラーニング等でニーズの高い画像データ、音声データ、動画データ等に分類し、情報をタグ付けして提供
株式会社キーウォーカー(東京都港区、代表取締役 真瀬正義)は、同社が最先端WEBクローリング技術を駆使して独自開発した「キーウォーカーWEBクローラ」で、AI用の学習データ収集サービスを開始した。
第3次AIブームの到来で、ビッグデータを活用したAI技術をビジネスに取り入れる企業が急増している。AI技術の核心を担う精度の高い機械学習(ディープラーニング等)をおこなうためには、正規化された学習用データセットをどれだけ大量に用意できるかが、AIシステムを成功させる大きな鍵となっている。
しかし、適切な形式のデータセットを市場で見つけるのは困難であり、手動ではAIの学習に必要な数十万〜数億件といったデータの収集をおこなうために膨大なコストや時間が必要である。
キーウォーカーWEBクローラを使うメリットの例
ディープラーニング等でニーズの高い画像データ、音声データ、動画データ等に分類情報をタグ付けして提供できるので、画像認識、音声認識、動画認識などのディープラーニング等で即活用ができる。
(例:商品画像に次の様なTAG付がおこなえる[商品名 + 仕様 + 販売価格 + 送料 + 残在庫数 + ランキング + クチコミ評点 + クチコミ数])
[画像: https://prtimes.jp/i/13637/3/resize/d13637-3-640875-2.jpg ]
データ収集の際には、ローデータの表記のゆれ等も吸収し、正規化する処理もおこなっている。
(例:4百万円、¥4,000,000.- ⇒ 4000000円 [和数、カンマ、単位などの正規化])
遅れを取ったと言われる日本の AI サービスは、その大きな要因の一つに、機械学習用のデータの不足が挙げられる。キーウォーカーWEBクローラは、このようなユーザの悩みを一気に解決するサービスといえる。
【キーウォーカーWEBクローラの特徴】
動的なサイトにも対応
ブラウザの自動操作技術によりあらゆるサイトから情報を取得
ログイン機能、サイト内検索操作機能、条件分岐機能、自動スクロール機能
データ連携
収集データをユーザの指定方法でシステムへ直接連携
様々なファイル形式に対応
HTMLだけでなく、PDFやOffice文書、画像、動画、音声ファイルのダウンロードが可能
大規模クローリング
スケーラビリティの高い設計により、大規模サイトに対しても並列処理、最適なスケジューリングで大量のデータを収集
WEBスクレイピング機能
WEBスクレイピング機能により、それぞれの項目ごとに値を抽出
株式会社キーウォーカーについて
[表: https://prtimes.jp/data/corp/13637/table/3_1.jpg ]
株式会社キーウォーカー(東京都港区、代表取締役 真瀬正義)は、同社が最先端WEBクローリング技術を駆使して独自開発した「キーウォーカーWEBクローラ」で、AI用の学習データ収集サービスを開始した。
第3次AIブームの到来で、ビッグデータを活用したAI技術をビジネスに取り入れる企業が急増している。AI技術の核心を担う精度の高い機械学習(ディープラーニング等)をおこなうためには、正規化された学習用データセットをどれだけ大量に用意できるかが、AIシステムを成功させる大きな鍵となっている。
しかし、適切な形式のデータセットを市場で見つけるのは困難であり、手動ではAIの学習に必要な数十万〜数億件といったデータの収集をおこなうために膨大なコストや時間が必要である。
キーウォーカーWEBクローラを使うメリットの例
ディープラーニング等でニーズの高い画像データ、音声データ、動画データ等に分類情報をタグ付けして提供できるので、画像認識、音声認識、動画認識などのディープラーニング等で即活用ができる。
(例:商品画像に次の様なTAG付がおこなえる[商品名 + 仕様 + 販売価格 + 送料 + 残在庫数 + ランキング + クチコミ評点 + クチコミ数])
[画像: https://prtimes.jp/i/13637/3/resize/d13637-3-640875-2.jpg ]
データ収集の際には、ローデータの表記のゆれ等も吸収し、正規化する処理もおこなっている。
(例:4百万円、¥4,000,000.- ⇒ 4000000円 [和数、カンマ、単位などの正規化])
遅れを取ったと言われる日本の AI サービスは、その大きな要因の一つに、機械学習用のデータの不足が挙げられる。キーウォーカーWEBクローラは、このようなユーザの悩みを一気に解決するサービスといえる。
【キーウォーカーWEBクローラの特徴】
動的なサイトにも対応
ブラウザの自動操作技術によりあらゆるサイトから情報を取得
ログイン機能、サイト内検索操作機能、条件分岐機能、自動スクロール機能
データ連携
収集データをユーザの指定方法でシステムへ直接連携
様々なファイル形式に対応
HTMLだけでなく、PDFやOffice文書、画像、動画、音声ファイルのダウンロードが可能
大規模クローリング
スケーラビリティの高い設計により、大規模サイトに対しても並列処理、最適なスケジューリングで大量のデータを収集
WEBスクレイピング機能
WEBスクレイピング機能により、それぞれの項目ごとに値を抽出
株式会社キーウォーカーについて
[表: https://prtimes.jp/data/corp/13637/table/3_1.jpg ]