テスト用のスマホ実機は、使い方に合わせて調達方法を選ぶと、無駄なく揃えられます。毎日の開発で使用する端末と、リリース前の数日だけ必要な端末と、不具合の再現のために一度だけ使いたい端末では、適した方法が変わってくるからです。

ここでは、購入・レンタル・クラウドの3つを順位ではなく「どんなチームに合うか」で比べ、レンタルを契約する前の確認点と、3つを組み合わせる考え方まで、QAの現場目線で整理します。

調達方法を選ぶ前に、何を書き出せばよいですか？

台数より先に、実施したいテストを書き出します。テストごとに、次の5つを決めておくと、どの方法が合うかがはっきりします。

機種の選び方は、Androidの公式ガイドラインも参考になります。Android Developers の「Core app quality guidelines」は、テスト環境に、利用者が使う代表的なハードウェアとソフトウェアの組み合わせを表す実機を含めるよう勧めています。市場のすべての端末で試す必要はない、とも書かれています。数を増やすより、自分たちのユーザーを代表する組み合わせを選ぶのが出発点です。

購入が合うのは、どんなチームですか？

同じ端末を毎日のように手元で使い続けるチームです。開発中の動作確認や、手で操作して確かめる検証の常用機は、購入がいちばん手軽です。

その代わり、保管・充電・OSを更新するかの判断・故障したときの対応は、チームの仕事になります。台数が増えるほど、この管理と、拠点をまたいだ端末の貸し借りが重くなります（自前で揃える場合の負担は「関連記事 : なぜ、実機は「自前でそろえる」より「クラウド」なのか」で詳しく書いています）。在宅の担当者が使う場合は、端末の持ち帰りや郵送、紛失時のルールも決めておく必要があります。購入するときは、購入費と一緒に、管理する人と買い替えの方針も決めておきます。

私がQAとして購入端末を使っていたときは、テストの前にまず全台をフル充電にする作業がありました。電池の残量が端末ごとにバラバラだと、途中で電源が落ちて検証が止まるからです。使った後は端末の管理表（貸出記録）を更新して、誰がどの端末をいつ使ったかを残します。台数が増えるほど、テストとは別のこうした準備と記録に時間を取られます。

レンタルが合うのは、どんなチームですか？

期間を区切って、手元に実物の端末を置きたいチームです。リリース前の集中検証の間だけ台数を増やしたいとき、普段は使わない機種で不具合を再現したいときに向いています。カメラで実物を撮影するなど、端末が手元にないとできない検証にも使えます。

ここでいうレンタルは、実物のスマートフォンを借りて手元に届けてもらう方法です。クラウド上の実機を遠隔で操作する方法とは分けて考えます。

レンタル端末で一つ学んだのが、テスト用アカウントの大切さです。アプリストアからテスト対象のアプリを入れるとき、自分の個人アカウントでログインしたところ、普段使っている自分のスマホに「別の端末でログインがありました」という通知が届きました。借りた端末に個人のアカウントを入れると、返却前に消し忘れる心配も出てきます。借りた端末には、テスト専用のアカウントを用意しておく必要があると感じた出来事でした。

借りる前に、何を確認しますか？

レンタルは、端末が届いてからでは変えられない条件が多い方法です。問い合わせの段階で、次の点を確認しておきます。

条件は提供元ごとに違います。回答と利用規約を照らし合わせ、返却まで追える形で記録しておきます。

クラウド実機が合うのは、どんなチームですか？

多くの機種で確かめたいチームと、複数の拠点や在宅の担当者が同じ端末を使うチームです。端末はサービス側のデータセンターにあり、ブラウザやアプリから遠隔で操作します。手元に届けてもらう必要がないので、配送を待たずに使い始められます。操作するのはエミュレータではなく、本物の実機です。

在宅勤務の担当者がいるチームでは、この違いが大きく出ます。購入やレンタルの端末は、オフィスに置けば在宅の担当者は使えず、持ち帰るなら持ち出しの申請や紛失時の対応が必要です。クラウド実機なら、端末はデータセンターに置いたまま、社内ルールで許可された場所から、オフィスでも自宅でも同じ端末を操作できます。端末を持ち運ぶことがないので、紛失や盗難の心配もありません。

Remote TestKit の場合は、700機種以上・1,200台以上の実機を、NTTレゾナントテクノロジー内のデータセンターで管理しています。新機種は原則2週間以内に追加され、利用後に返却すると端末のデータは削除されます。自動テストは Appium Cloud機能（FLAT3以上のプラン）で対応していて、テスト対象のアプリを事前にアップロードしておけば、スクリプトからインストールできます。

一方で、カメラの撮影結果と位置の移動を確かめる検証は、Remote TestKit ではできません。端末をデータセンターに伏せて固定しているため、撮影しても真っ暗な画像になり、現在地も動かないからです。カメラアプリの起動や権限ダイアログの表示、固定位置での地図表示は確認できます。どの検証がクラウド実機に向くかは「関連記事 : クラウド実機で「できること」／「できないこと」」にまとめています。

導入の前には、テスト対象のアプリやテストデータを外部のサービスに置いてよいか、社内のルールを確認しておきます。

私が使っていて実感するのは、机の上が片付いたままで済むことです。複数台を並べて同時に確かめるとき（FLAT2以上のプラン）も、並ぶのは画面の中なので、端末を広げる作業スペースが必要ありません。テスト対象のアプリも、画面から手で入れる方法と、スクリプトから自動で入れる方法（FLAT3以上のプラン）の両方を試せます。手動の確認から始めて、慣れたら自動テストに移る、という順番で進められます。

3つの方法を、チームの条件で比べると？

下の表は順位ではなく、自分たちの条件を当てはめるための表です。

費用は、同じ機種数・台数・期間・テスト内容で見積もってから比べます。購入費・レンタル料・利用料の金額だけを並べると、管理や準備にかかる手間が抜け落ちます。「何か月以上使うなら購入が得」といった目安は、チームの使い方によって変わるので、見積もりを並べてから判断します。

3つを組み合わせてもよいですか？

組み合わせるのが、むしろ一般的です。すべての端末を同じ方法で揃える必要はありません。

たとえば、毎日使う常用機は購入、期間限定で手元に必要な端末はレンタル、多くの機種で確かめる検証はクラウド、という分け方があります。Remote TestKit を使う場合は、カメラの撮影結果や位置の移動を確かめる検証を、購入した端末やレンタルした端末に割り当てます。

複数の環境を使うときは、どの環境で、どのビルド・OS・テストデータを使って何を確かめたかを記録しておきます。不具合が出たときに、環境の違いによるものかを切り分けられるようにするためです。

まず、何から決めればよいですか？

次のリリースで必要な検証を1つ選び、その検証に必要な機種・OS・期間・手元で必要な操作を書き出してください。そこに、表の3つの方法を当てはめると、端末を買う範囲・借りる範囲・クラウドに任せる範囲が決まります。

クラウド実機を初めて試す場合は、「関連記事 : はじめてのクラウド実機テスト ― 最初の1回で何を試すか」で、最初の1回に何を確かめるかを整理しています。

よくある質問（FAQ）

テスト用の実機は、何台揃えればよいですか？

台数より、ユーザーを代表する機種とOSの組み合わせで決めます。Androidの公式ガイドラインも、市場のすべての端末ではなく、代表的な組み合わせの実機で試すことを勧めています。まず利用の多い機種と、対応OSの下限から選びます。

レンタルとクラウド実機は、何が違いますか？

レンタルは実物の端末を借りて手元に届けてもらう方法で、カメラなど手元でしかできない検証にも使えます。クラウド実機は、データセンターにある実機を遠隔で操作する方法で、配送を待たずに多くの機種を使い分けられます。

クラウド実機だけで、すべての検証ができますか？

いいえ。Remote TestKit の場合、カメラの撮影結果と位置の移動を確かめる検証はできません。こうした検証は購入やレンタルの端末に割り当て、クラウド実機と組み合わせるのが現実的です。

在宅勤務のメンバーでも、テスト用の実機を使えますか？

使えます。購入やレンタルの端末は、持ち帰りや郵送が必要になります。クラウド実機なら、社内ルールで許可された場所から、オフィスと同じ端末を遠隔で操作できます。端末を持ち運ばないので、紛失の心配もありません。