You can not select more than 25 topics
Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
69 lines
5.1 KiB
69 lines
5.1 KiB
2 years ago
|
<br>
|
||
|
|
|
||
|
|
<p align="center">
|
||
|
|
<img src="../assets/touchstone_logo.png" width="300"/>
|
||
|
|
<p>
|
||
|
|
<br>
|
||
|
|
|
||
|
|
<p align="center">
|
||
|
|
<a href="touchstone/README_CN.md">中文</a>  ｜  <a href="../touchstone/README.md">English</a>｜  日本語
|
||
|
|
</p>
|
||
|
|
<br><br>
|
||
|
|
|
||
|
|
**TOUCHSTONE** は、マルチモーダル言語モデルの包括的な評価であり、基本的な認識や理解だけでなく、文学的な創作にまで及びます。評価プロセスを自動化し、マルチモーダル情報をテキストに変換することで、私達の TouchStone は、人手を介することなく高度な言語モデルの力を活用し、対話の質を効率的かつ正確に評価することができます。
|
||
|
|
|
||
|
|
## DATASET
|
||
|
|
|
||
|
|
LVLMの能力を評価するために、基本的な記述能力、視覚認識能力、視覚理解能力、視覚ストーリーテリング能力、複数画像解析能力の5つの主要な次元をカバーする多様で包括的なデータセットを構築する。
|
||
|
|
|
||
|
|
- **基本的描写力** 画像記述には、単純な記述と詳細な記述を含め、画像に含まれる情報を記述するモデルの能力が含まれる。単純な記述は、通常、画像の主な主題とアクションを記述する短いフレーズであり、詳細な記述は、画像のシーン、それらの属性、および関係についてのより詳細な情報を提供します。
|
||
|
|
|
||
|
|
- **視覚認識能力** 画像認識とは、画像内のオブジェクトやシーンを認識し、関連情報を推論するタスクである。この分野はさらに、属性QA、映画/テレビ認識、アート認識、ランドマーク認識、有名人認識、感情認識、テキスト認識、オブジェクト認識、構造コンテンツ認識など、いくつかのサブタスクに分けることができる。
|
||
|
|
|
||
|
|
- **視覚理解能力** 画像理解とは、モデルが画像の意味や関連するタスクを理解する能力のことである。この分野には、スタイル理解、抽象画像理解、ミーム理解、画像分析、チャート分析、一般的な問題解決、推論QAなど、いくつかのサブタスクが含まれる。
|
||
|
|
|
||
|
|
- **視覚的ストーリーテリング能力** ビジュアルストーリーテリング能力とは、メール、詩、物語、広告／商品推薦、ブレーンストーミングの執筆など、ビジュアルコンテンツに基づいた文学創作のプロセスである。
|
||
|
|
|
||
|
|
- **マルチ画像解析能力** 複数画像解析とは、複数の画像を解析・比較する作業である。この分野には、2つまたは複数の画像を比較する、複数の画像情報を要約する、商品を比較する、画像を段階的に分析するなどのタスクが含まれます。
|
||
|
|
|
||
|
|
|
||
|
|
<p align="center">
|
||
|
|
<img src="../assets/touchstone_datasets.jpg" width="600"/>
|
||
|
|
<p>
|
||
|
|
|
||
|
|
モデルの能力を 5 つの次元から総合的に評価する。上図のように、27 のサブタスクの例を示す。知覚から認知、創造性まで、難易度が上がるにつれて、モデルに求められる要件もどんどん高くなっている。現在、LVLM の機能は初期段階にある。我々のデータセットには 800 以上の質問と 27 のカテゴリーが含まれている。
|
||
|
|
|
||
|
|
## 方法
|
||
|
|
|
||
|
|
|
||
|
|
自動評価を可能にするために、強力な LLM を判定器として適用する。画像の内容を効果的に理解するために、実際の画像入力をきめ細かいテキスト注釈に手動で置き換える。これらの注釈と対応する質問を GPT4 のような強力な LLM に入力することで、参照解答を得る。
|
||
|
|
|
||
|
|
LVLMの評価には、実際の画像と質問を入力として与え、それぞれの回答を得る。最後に、GPT4を用いて、LVLMが生成した回答を、細かいアノテーションと質問に基づいてスコアリングする。スコアリングの指示は、注釈を画像の内容とみなして、回答の有用性、関連性、正確性を評価するようモデルに要求する。評価の公平性を確保するため、各モデルの回答はGPT4の一貫した参照回答と比較されます。全問題におけるモデルの平均スコアを最終スコアとする。
|
||
|
|
|
||
|
|
解答位置の影響を排除するために、解答位置を入れ替えて2回目の採点ラウンドを行い、得られた2つのスコアの平均を計算します。このアプローチは、解答の配置によって生じるバイアスを軽減することを目的としています。
|
||
|
|
<p align="center">
|
||
|
|
<img src="../assets/touchstone_eval.png" width="600"/>
|
||
|
|
<p>
|
||
|
|
|
||
|
|
### 評価
|
||
|
|
|
||
|
|
#### 英語ベースのマルチモーダル対話における評価
|
||
|
|
|
||
|
|
| Model | Score |
|
||
|
|
|---------------|-------|
|
||
|
|
| PandaGPT | 488.5 |
|
||
|
|
| MiniGPT4 | 531.7 |
|
||
|
|
| InstructBLIP | 552.4 |
|
||
|
|
| LLaMA-AdapterV2 | 590.1 |
|
||
|
|
| mPLUG-Owl | 605.4 |
|
||
|
|
| LLaVA | 602.7 |
|
||
|
|
| Qwen-VL-Chat | 645.2 |
|
||
|
|
|
||
|
|
#### 中国語ベースのマルチモーダル対話における評価
|
||
|
|
|
||
|
|
| Model | Score |
|
||
|
|
|---------------|-------|
|
||
|
|
| VisualGLM | 247.1 |
|
||
|
|
| Qwen-VL-Chat | 401.2 |
|
||
|
|
|