ios - 速度 - vision api デモ



Google Vision API for iOSを使用してMSQRD/SnapChatなどの2Dまたは3Dの顔フィルタを追加する (1)

これまで私が行ってきたいくつかの研究があります: - Google Vision APIを使用してさまざまな顔の目印を検出しました。 参照先: https://developers.google.com/vision/introduction : https://developers.google.com/vision/introduction

1) https://deepar.ai/contact/

2) https://www.luxand.com/

MSQRD / SnapChatのようなフェイスフィルタの実装では、この問題を重複して見る可能性があります。

しかし、スレッドはほぼ1.6歳で、正しい答えはありません。

私はこの記事を読んでいます: https://dzone.com/articles/mimic-snapchat-filters-programmatically-1 : https://dzone.com/articles/mimic-snapchat-filters-programmatically-1

これは、望ましい結果を達成するためのすべての不可欠な手順を示しています。 しかし、彼らは独自のSDKを使用するように助言します。

私の研究によれば、 MSQRDフェイスフィルターのような望ましい結果をいっぱいにするのに役立つ十分な物質はありません。

同じ実装を持つGithubリポジトリがもう1つありますが、同じことについてはあまり情報がありません。 https://github.com/rootkit/LiveFaceMask

今私の質問は:

Google Vision API(またはDiLibを使用)を使用して顔のランドマークがある場合、2Dモデルまたは3Dモデルをどのように追加することができますか。 どのようなフォーマットでこれを行う必要があるかは、頂点計算を伴うX、Y座標を必要とする。

注:私は、Googles "GooglyEyesDemo"を見て、目の上にプレビューレイヤーを追加しました。 それは基本的に顔の上にビューを追加します。 だから私はそれ以上のUIView一次元プレビュー層を追加したくない。 参照用に添付された画像:

https://developers.google.com/vision/ios/face-tracker-tutorial

モデルを作成する:MSQRDのようなライブフィルタ用のモデルを作成する方法も知りたい。 私は、ソフトウェアやフォーマットの推奨事項を歓迎します。 私が行った研究が他の人を助け、他の誰かの経験が私に望ましい結果を達成するのに役立つことを願っています。 詳細が必要な場合はお知らせください**

参照用に添付された画像:

ありがとうハリー


x、y、z座標を予測する( thisデモをチェックする)必要があります。x、y予測を使用しますが、現在のx、yの最も近い投影を与える普遍的な3Dモデル&カメラのパラメータを探します。