品質工学が実際のところメーカーの現場でほとんど適用されていないのは、いくつか複合的な理由が考えられると思うが、そのひとつとして、品質工学の分析手法に内在する困難が挙げられる。
品質工学は、ある製品や機能の特性を示す平均値を目標に近づけることではなく、まず各々の特性値の平均からの逸脱、つまりばらつきを支配する因子を特定し、これを制御することでばらつきを抑制することを目指す。パラメータ設計によって平均値を目標特性に近づけるのは、ばらつきをなくすことよりも容易いが、目標値を達成したあとで誤差や寸法公差などに由来するばらつき自体をなくすのは、しばしば非常に難しいからだ。
特性値に影響を与えて平均からのずれを呼び起こすのは、使用環境や劣化といった、必ずしも正規分布にしたがわないノイズである。したがって、ばらつきを抑えるということは、ある入力に対して、確実で緊密に結びついている出力を保証することに他ならない。品質工学では、平均値だけではなく、誤差もまた設計の対象であり操作可能な統計量であるとみなす。出力の確実性を乱すノイズを積極的に取り入れた実験をおこなうことで、パラメータに対する特性値の依存性だけでなく、各パラメータに対する特性値のばらつきの依存性もまた調査するのである。
実験の際には、特性に対して影響力の大きい誤差要因を取り上げて、それを制御可能な形であらかじめ実験に組みこんでおく必要があろう。だが、品質工学では、入力と出力の確実性を乱すノイズの主要因がすでに判明していることが前提とされており、それを突き止めるヒントはなにも与えてくれない。どのような誤差要因を選別し、どれくらいノイズを盛りこむかは実験者が決めなければいけない。ここに品質工学の弱点がある。
パラメータを変えたときの特性値のばらつきを定量的に評価することによって、一見すると普遍的なロバストネスを追求できるように思われる。だが、実験計画において、それが主要因であるかも定かでない、ある特定のノイズだけを取り入れている以上、その選択がパラメータ依存性に影響を与えないという保証はいっさいない。あるパラメータが特定のノイズに対して強靭である一方で、別の種類のノイズに対しては脆弱であるというのはいかにもありそうなことだが、品質工学はこの可能性を検証するどころか、いっさい無視した地点から分析を始めようとするのである。
