スマホアプリ開発の探索的テストにおけるバグ再現の難しさと解決方法

探索的テストはスピード感、コスト面で優れるため、アジャイル開発などで採用されることも多いテスト手法です。一方で、テストを行いながらテスト計画を並行して進めるため、バグの再現に苦労するという問題もあります。本コラムでは、バグ再現が難しいとされる理由と効率化する方法について、ご紹介していきます。

見出し

・探索的テストとは？スマホアプリ開発でよく使われる理由

・探索的テストでのバグ原因調査はなぜ難しいのか

・Remote TestKitの端末内ログでバグ再現を効率化できる！

探索的テストとは？スマホアプリ開発でよく使われる理由

探索的テストはソフトウェアテスト手法の一つです。テスト実施者がアプリの振る舞いに注目しながらテストを行い、アプリとその障害についての理解を深め、テスト計画、テスト設計を並行して行います。よく利用されるテスト手法の一つであり、スクリプト（記述式）テストと対比されます。網羅性よりテストのスピードを重視しており、コスト面でも優れるため、アジャイル開発などで採用されることが多いテスト手法です。

スマホアプリは各種のサービスの一環として提供されることも多く、継続的に機能の追加や改善を図りリリースを行うサイクルを持ちます。アジャイルなどの短いサイクルでのリリースに適した開発手法として、スマホアプリ開発においてよく用いられます。

このような事情から、スマホアプリ開発において探索的テストが採用されることは多い傾向にあります。また、下記もスマホアプリのテストで探索的テストが用いられる理由として挙げられます。

・短納期、低コストへの対応

・開発プロジェクトやテストの状況を反映した柔軟な対応

・スマホの多彩な操作、機能に対して、網羅的なテストは効率的なアプローチと言い難い

探索的テストでのバグ原因調査はなぜ難しいのか

探索的テストでは、最初にテスト設計を行うのではなく、テストを行いながらテストの計画と設計を並行して進めます。必然的に、後追いでテストの手順が定まっていきます。バグを見逃さないよう、テスト実施者は操作手順を考えながらテストを進めます。

バグが発生した場合、バグが発生した状況はスマホの画面表示などで確認可能です。しかし、発生に至るまでの手順の記録は、テスト実施者の記憶に頼ることになります。直前の操作は覚えていても、その一つ前の操作を覚えており、さらに前の手順についても記憶しているかといえば難しく、正確性を欠くのも仕方のないところです。ましてや、バグはテスト実施者の意図するところで起きるとは限らないでしょう。

また、バグの特性として、特定の操作手順を辿った場合にのみ発生する状態・問題も存在します。通常は行わない操作手順を探索的テストでたまたま行いバグが発生した場合でも、バグの除去を行わないわけにはいかないでしょう。どのような操作手順で発生したバグなのか判然としない場合には、再現が難しく、原因の調査の難易度も必然的に高まります。

他にも近似するシーンとして、スマホアプリの利用をサポートするカスタマーサポートにおても、バグの再現に苦労することがあります。クライアントの伝える手順は明確とは限りません。繰り返し試してやっと再現したのに、手順が分からなくなってしまう事態はできれば避けたいところです。

定期的なリリースを行うスマホアプリ開発やテストの現場では、納期短縮とコスト削減を目的に、探索的テストを効率的な手法として用います。

しかし、しばしば問題となるのが、バグが発生した際の手順が明確でないケースです。効率的なテスト実施のために探索的テストを取り入れたのにもかかわらず、バグの再現手順が分からずに費やしてしまう時間は大きなロスです。テスト実施者のスキルによって、テストの効率に大幅なブレが生まれてしまうため、開発やテストの管理者にとってよくある悩みの一つなのではないでしょうか。

この問題を解決するのが、テストツールRemote TestKitの操作履歴機能です。スマホ上で行った操作がスクリーンショット付きで全て記録されるため、テスト時の手順はいつでも追跡して再現することが可能です。テストの実施者とバグを再現する人が違ったとしても、操作履歴を見れば同じ状態を作り出すことができます。

Remote TestKitについて見てみる

Remote TestKitの端末内ログでバグ再現を効率化できる！

Remote TestKit（ソフトウェア版）は、リモートで接続したスマホ上でアプリやWebサイトなどのテストを行うことができるツールです。その際の操作は全て記録され、後からHTMLファイルとして出力して確認することができます。さらに、各操作時の画像がスクリーンショットで残されているため、後から見た場合でも視覚的に認識可能です。

探索的テストの実施にRemote TestKit（ソフトウェア版）を用いることで、履歴が記録されるため、行った操作の追跡が可能になります。複雑な手順でも、再現できずに困ることはありません。テスト実施者のスキルや経験、記憶力にテストの品質が左右されることを避け、安定して効率的なテストを実現できます。

操作履歴機能で探索的テストのデメリットの一つを埋めることができるため、効率的なテストを実現できるうえ、エビデンスの取得を効率化する効果もあります。テストの途中で作業を止めてエビデンスを整理してテストに戻る、テンポの悪いテストのストレスからも解放されるのです。