Verlässliche Schätzungen: die Basis für jede Planung

Nicht nur im Zusammenhang mit der Anwendung der zmarTWay Systematik kommt es immer wieder vor, dass Aufwände bzw. Dauern abgeschätzt werden müssen, um Aktivitäten auf dem Weg zu einem angestrebten Ziel sinnvoll planen zu können.
Hier stelle ich ein Verfahren vor, mit dem ich regelmäßig gute Ergebnisse mit vertretbarem Aufwand erziele.

Keine Planung ohne Schätzung

Sie haben eine Vision formuliert und aus dem Gap zwischen der heutigen und der zukünftig erwarteten Situation eine Mission abgeleitet. Sie haben Strategien (wie) zur Erfüllung der Mission (was) definiert und möchten sich nun der Umsetzung widmen, in dem Sie geeignete konkrete Maßnahmen planen.
An dieser Stelle wird es wichtig, zuverlässige Aussagen zum Aufwand bzw. zur Dauer dieser Maßnahmen machen zu können, um die inhaltliche Planung mit Informationen zu benötigter Zeit und Ressourcen unterlegen zu können.

Qualität von Schätzungen

Die Qualität einer Planung hängt wesentlich von der Güte zu Grunde liegender Annahmen und Schätzungen ab. Dieser Zusammenhang wird oft vernachlässigt oder unterschlagen und Planungen werden zu verbindlichen Vereinbarungen erhoben ohne die Qualität der zu Grunde liegenden Schätzungen ausreichend in Betracht zu ziehen.

Aber welche konkreten Auswirkungen hat die Qualität von Schätzungen auf eine Planung?

Zunächst hängt die Qualität einer Schätzung sicherlich von individuellen Eigenschaften des schätzenden Menschen ab. Der Pessimist wird voraussichtlich einen größeren Risikopuffer in seine Schätzungen einkalkulieren als der Optimist. Ein Erfahrener wird voraussichtlich Schätzwerte liefern, die näher an der späteren Realität liegen, als ein Unerfahrener.
Und es kommt auf die Aufgabenstellung bzw. die Randbedingungen der Schätzung an. Selbst einundderselbe Schätzer wird unterschiedliche Ergebnisse liefern, wenn man ihn z.B. bittet, den Aufwand bis zur garantierten und vollständigen Erledigung einer Aufgabe oder aber den Aufwand für die Erledigung der Aufgabe unter günstigsten Randbedingungen zu schätzen.

Ohne eine sinnvolle Angabe zur Qualität einer Schätzung ist die Aussage praktisch wertlos.

Nur unter Berücksichtigung, ob es sich z.B. um eine optimistische oder pessimistische, von einem erfahrenen oder unerfahrenen Schätzer durchgeführte, »best case« oder »worst case« Schätzung handelt, kann eine sinnvolle Planung darauf aufgebaut werden. Andernfalls ist die Planung sehr wahrscheinlich von geringer Qualität und damit von geringem Wert.

In der Praxis beobachtet man nicht selten ungefähr folgendes Szenario:

Chef: „Wie lange brauchen Sie dafür?“
Mitarbeiter: „Etwa 20 bis 30 Stunden.“

Was macht der Chef nun mit dieser Aussage?
Er weiß, dass bei Schätzungen oft — bewusst oder unbewusst — ein Puffer für unvorhergesehenes eingerechnet wird und halbiert die Schätzung deshalb, um keinen unnötigen Ballast einzuplanen. Von den resultierenden 10 bis 15 Stunden nimmt er in seine Planung natürlich den unteren Wert auf.
Der Mitarbeiter sieht später die geplanten 10 Stunden und merkt sich, seine Schätzungen zukünftig mindestens um den Faktor 2 höher anzusetzen, um in den Planungen des Chefs aus seiner Sicht sinnvollere Werte wiederzufinden.
Das endet in einer Spirale aus immer größer werdenden Abständen zwischen geschätzten und tatsächlichen Aufwänden bzw. Dauern und ist natürlich nicht wirklich sinnvoll.

Daher ist es für die Erstellung sinnvoller und für Vereinbarungen brauchbarer Planungen notwendig, die Qualität von Schätzungen erkennen und entsprechend berücksichtigen zu können.
Gute Planer und Schätzer bedienen sich hierzu entsprechender Verfahren, bei denen Schätzwerte jeweils in Verbindung mit der Eintrittswahrscheinlichkeit berücksichtigt werden.

Schätzwerte werden sinnvollerweise immer zusammen mit der Eintrittswahrscheinlichkeit angegeben.

Nur so können sachlich fundierte, nachvollziehbare und realistisch umsetzbare Planungen erstellt werden, die auch als Basis für Vereinbarungen taugen. Dabei ist es übrigens unerheblich, ob nach einem mehr oder weniger agilen Vorgehensmodell geplant und abgearbeitet wird.

Methodik

Es gibt zahlreiche mehr oder weniger komplexe, mehr oder weniger verbreitete und mehr oder weniger praxistaugliche Methoden, um zu mehr oder weniger verlässlichen Aussagen bzgl. Aufwänden bzw. Dauern von Vorhaben und Aktivitäten zu kommen.

Ich habe verschiedene veröffentlichte Methoden — von Boehms CoCoMo bis Albrechts Function Point Analyse oder die bei agilen Ansätzen gebräuchlichen Story Points — über viele Jahre mehr oder weniger erfolgreich angewendet. Die eine oder andere davon behandle ich in weiteren Beiträgen zu diesem Thema noch.
Hier möchte ich nun auf ein spezielles Verfahren eingehen, mit dem ich in der Vergangenheit unabhängig vom angewandten Planungs- und Vorgehensmodell gute Erfahrungen gemacht habe. Insbesondere gefällt mir daran das aus meiner Sicht gute Verhältnis von Erstellungsaufwand zur Qualität der Ergebnisse. Sicherlich gibt es Methoden, die noch bessere Schätzwerte liefern können — allerdings ist der Aufwand zur Erstellung solcher Schätzungen so überproportional höher, dass sie meiner Ansicht nach zeitlich bzw. betriebswirtschaftlich nicht so sinnvoll anwendbar sind.

Drei Zeiten

Naturgemäß unterliegt jede Schätzung einer Unsicherheit. Niemals lässt sich vor Beginn eines Vorhabens genau definieren, welche Eventualitäten eintreten werden und welche nicht.
Das Ausmaß dieser Unsicherheit hängt von der Komplexität des Vorhabens, der Erfahrung des Schätzers und vielen weiteren Faktoren ab.

Ein rudimentärer Ansatz zur Berücksichtigung dieser Unsicherheit ist die sog. »Zwei-Zeiten-Methode«.
Hier wird eine pessimistische Schätzung unter Berücksichtigung aller vorhersehbaren Schwierigkeiten (»worst case«) sowie eine optimistische Schätzung durchgeführt, bei der von optimalen Voraussetzungen und Rahmenbedingungen ausgegangen wird (»best case«). Zur Planung wird dann der Mittelwert aus diesen beiden Extremwerten verwendet.

Schätzwert = (pessimistischer Wert + optimistischer Wert) / 2

Dieser Wert liegt erfahrungsgemäß deutlich näher am tatsächlich eintretenden Wert als der optimistische oder pessimistische Extremwert. Allerdings sind die Abweichungen dennoch so groß, dass diese Methode in der Praxis kaum sinnvoll angewendet werden kann.

Eine Verfeinerung stellt die sog. »Drei-Zeiten-Methode« bzw. die »gewichtete 3-Punkt-Schätzung« dar. Verschiedentlich wird dieses Verfahren auch als PERT Schätzung (Program Evaluation and Review Technique) bezeichnet.
Hierbei wird neben der optimistischen und der pessimistischen Schätzung zusätzlich noch der subjektiv wahrscheinlichste Fall „nach bestem Wissen“ geschätzt (»likely case«).
Um dem Umstand Rechnung zu tragen, dass die Wahrscheinlichkeiten für den optimistischen und den pessimistischen Fall deutlich geringer sind, wird der wahrscheinlichste Fall entsprechend gewichtet.

Schätzwert = (pessimistischer Wert + 4 x wahrscheinlicher Wert + optimistischer Wert) / 6

Durch diese Verfeinerung erhält man üblicherweise schon recht brauchbare Schätzwerte. In der Praxis treten allerdings dennoch häufig Abweichungen in Richtung höherer Werte auf.

DeMarcos Asymmetrie

Tom DeMarco hat bereits in seinem 2003 erschienenen Buch »Bärentango« aufgezeigt, dass Schätzungen entgegen der Annahmen im Drei-Zeiten-Modell einer asymmetrischen Wahrscheinlichkeitsverteilung unterliegen. Er hat sachlich festgestellt, was wir irgendwie schon vermutet hatten — nämlich dass pessimistisch geschätzte Werte deutlich häufiger der späteren Realität entsprechen als optimistisch geschätzte.
Das ist ja noch nicht weiter verwunderlich. Schätzt man nur pessimistisch genug, geht die Wahrscheinlichkeit der Einhaltung der Schätzung irgendwann gegen 100%. Das Risiko, mit der Aussage „ich laufe 100 Meter in weniger als 5 Minuten“ falsch zu liegen, ist relativ gering.

DeMarco und sein Mitautor Timothy Lister gehen aber weiter. Sie betrachten die relative Wahrscheinlichkeit der Richtigkeit einer Schätzung. Im Gegensatz zur absoluten Eintrittswahrscheinlichkeit, die wie oben festgestellt mit steigendem Pessimismus (z.B. größeren Aufwänden, höheren Kosten oder längeren Dauern) immer höher wird, hat die relative Wahrscheinlichkeit ein Maximum irgendwo zwischen dem optimistischen und dem pessimistischen Wert. Dieser Punkt kann sinnvollerweise als realistischer Punkt bezeichnet werden.

Eine solche Wahrscheinlichkeitskurve durch diese drei Punkte stellt mathematisch eine rechtsschiefe Dichtefunktion dar.

Betaverteilung

Betaverteilung (Dichtefunktion)

DeMarco und Lister folgern mathematisch korrekt, dass die absolute Wahrscheinlichkeit dem Integral über die Dichtefunktion — also der Fläche unter der Kurve — durch diese drei Punkte entspricht.

Der Fall, dass alles glatt läuft (optimistischer Fall) ist genauso unwahrscheinlich wie der, dass alle vorhersehbaren Probleme auftreten (pessimistischer Fall). Diese Punkte markieren demnach die kleinste relative Wahrscheinlichkeit.
Die höchste relative Wahrscheinlichkeit wird durch den realistischen Fall markiert.
Die gesamte Fläche unter der Kurve entspricht wie gesagt der Wahrscheinlichkeit 1 bzw. 100%. Somit lässt sich nun für jeden beliebigen Punkt auf der Abszissenachse (z.B. Aufwand, Dauer, Kosten) die absolute Wahrscheinlichkeit über die Fläche unter der Kurve an diesem Punkt bestimmen.
Dieses Verfahren stellt somit die besondere Möglichkeit zur Verfügung, die absolute Wahrscheinlichkeit einer Schätzung zu beurteilen bzw. eine Schätzung mit einer vorgegebenen absoluten Eintrittswahrscheinlichkeit durchzuführen.

Der Konfidenzfaktor

Der Festlegung der drei Punkte (optimistischer Schätzwert, realistischer Schätzwert und pessimistischer Schätzwert) kommt bei dieser Methodik eine zentrale Bedeutung zu.

Erfahrungsgemäß können der optimistische und der realistische Wert gut ermittelt werden, da die Randbedingungen dafür recht klar definiert sind. Beim pessimistischen Schätzwert stellt sich jedoch regelmäßig die Frage, welche bekannten und evtl. sogar unbekannten Eventualitäten in die Schätzung einbezogen werden sollen.

In der Praxis hat sich daher ein spezielles Verfahren für die Ermittlung des pessimistischen Werts bewährt: Die Berechnung mittels Konfidenzfaktor.

pessimistischer Wert = realistischer Wert + (realistischer Wert – optimistischer Wert) * Konfidenzfaktor

Der Konfidenzfaktor bestimmt den Abstand des pessimistischen Werts vom realistischen Wert. Ist die Konfidenz maximal — d.h. der Konfidenzfaktor 1 — liegt der pessimistische wert so weit über dem realistischen wie der optimistische darunter liegt. D.h. die Wahrscheinlichkeitsverteilung ist symmetrisch. Mathematisch handelt es sich dann um eine sog. Normalverteilung.
Wie wir aber wissen, sind realistische Verteilungen eher rechtsschief und dieser Extremfall tritt ziemlich selten auf. Mit sinkender Zuversicht in die Qualität der realistischen Schätzung (und entsprechend steigendem Konfidenzfaktor) verschiebt sich der pessimistische Wert asymmetrisch vom realistischen Wert zu höheren Werten.

Ich mache den Konfidenzfaktor üblicherweise an wesentlichen Eigenschaften des Schätzers fest. Die Qualität einer Schätzung ist immer abhängig von der Person, die die Schätzung abgibt. Ein erfahrener Schätzer baut z.B. erfahrungsgemäß bereits viele wahrscheinlich auftretende Risiken in seine realistische Schätzung ein während ein unerfahrener Schätzer oft sogar recht offensichtliche Faktoren nicht berücksichtigt. Ein ambitionierter oder optimistischer Schätzer wird andere Werte liefern als ein unwilliger oder pessimistischer Schätzer. Um diesen personenbezogenen Einflüssen Rechnung zu tragen, ermittle ich den Konfidenzfaktor üblicherweise anhand von drei wesentlichen Punkten.

  1. Fachkenntnis des Schätzers (von 10% bei nur wenigen vorhandenen fachlichen Informationen bis 100% wenn alle notwendigen fachlichen Informationen präsent sind).
  2. Erfahrung des Schätzers (von 10% bei nur sehr geringer anwendbarer Erfahrung bis 100% bei exakter Wiederholung eines Vorhabens).
  3. Einstellung des Schätzers (von 10% für eine sehr optimistische bis 100% für eine absolut realistische Einstellung).

Zur Ermittlung des Konfidenzfaktors wird der Mittelwert dieser drei Werte gebildet.
Für die unterschiedlichen Ausprägungen der Eigenschaften zwischen 10% und 100% liegt der Konfidenzfaktor entsprechend zwischen 10 und 1.

Praxistaugliche Mathematik

In der Praxis ist es nicht sinnvoll, für jede Aufwandsschätzung eine Differentialgleichung aufzustellen. Oft müssen Schätzungen sehr schnell und mit geringem Aufwand erstellt werden.

Der Praktiker nähert dazu die Kurve zwischen den Punkten für den optimistischen, realistischen und pessimistischen Fall durch lineare Funktionen und vereinfacht die Flächenberechnung damit signifikant.
Als kleiner Nachteil entsteht dadurch eine Unstetigkeitsstelle am realistischen Punkt, die durch Fallunterscheidung gehandhabt werden muss.

Dreiecksverteilung

Dreiecksverteilung (Dichtefunktion)

Es gibt etliche Quellen, die dieses Verfahren etwas nach Voodoo aussehen lassen. Tatsächlich ist es aber gar nicht so kompliziert und mit dem üblichen Handwerkszeug aus dem Mathe-Abitur durchaus realisierbar.
Mathematisch handelt es sich um eine sog. Dreiecksverteilung, einem Spezialfall der Betaverteilung.
In der Praxis erfolgt eine solche Berechnung meist mit Hilfe einer Tabellenkalkulation.
Ich habe dafür eine Vorlage erstellt, die das Verfahren vollständig abbildet. Bei Interesse daran können Sie sich gerne an mich wenden.

Natürlich können Sie die Berechnungen auch selbst implementieren. Das hilft in jedem Fall zur Vertiefung des Verständnisses.

Anwendung in der Praxis

Das oben unter Qualität von Schätzungen geschilderte Szenario sollte bei Anwendung dieser Methodik in der Praxis demnach eher folgendermaßen ablaufen:

Chef: „Wie lange brauchen Sie dafür?“
Mitarbeiter: 50 Stunden mit 60% Wahrscheinlichkeit.
Chef: Das geht doch auch in 30 Stunden, oder?
Mitarbeiter: Ja, möglicherweise. Die Wahrscheinlichkeit dafür liegt aber nur bei 21%.
Chef: Ich möchte dem Kunden aber schon einen realistischen Termin nennen können.
Mitarbeiter: Ich schlage vor, wir setzen intern 47 Stunden an. Dafür liegt die Wahrscheinlichkeit bei 55%. Gegenüber dem Kunden kalkulieren wir mit einer Wahrscheinlichkeit von 75%. Dadurch entsteht ein Risiko-Puffer bis 60 Stunden.
Chef: Gut. So machen wir’s.

Welche konkreten Schritte braucht es nun, um zu so einem konstruktiven und sachlichen Szenario zu kommen?

Zerlegen

Um die Qualität einer Schätzung zu verbessern, ist es generell von Vorteil, das zu schätzende Vorhaben in überschaubare Teile zu zerlegen. Für diese Bestandteile werden werden dann einzelne Schätzungen erstellt. Mit der so erreichten Reduktion der Komplexität erhöht sich die Sicherheit der einzelnen Schätzungen und bleibt bei deren Addition erhalten.

Schätzen

Für jedes zu schätzende Element wird der optimistische und der realistische Wert geschätzt und jeweils aufsummiert.

Zur Erinnerung: Die optimistische Schätzung betrachtet den Idealfall. Den Fall, dass absolut alles glatt läuft. Die realistische Schätzung betrachtet den aus Sicht des Schätzers mit höchster relativer Wahrscheinlichkeit eintretenden Fall.

Berechnen

Die anzustellenden Berechnungen sind wie gesagt auf Grund der zur Vereinfachung angenommenen Dreiecksverteilung relativ einfach zu bewerkstelligen.

Pessimistischer Wert

Aus dem optimistischen und dem realistischen Wert sowie dem Konfidenzfaktor wird der pessimistische Wert bestimmt.

pessimistischer Wert = realistischer Wert + (realistischer Wert – optimistischer Wert) * Konfidenzfaktor

Der Konfidenzfaktor berücksichtigt die Eigenschaften des Schätzers (Fachkenntnis, Erfahrung, Einstellung) und bestimmt letztendliche die Schiefe der Wahrscheinlichkeitsverteilung.
Siehe Der Konfidenzfaktor.

Dreiecksverteilung

Mit den drei Schätzwerten (optimistisch, realistisch, pessimistisch) kann nun die Wahrscheinlichkeitsverteilung über den gesamten Wertebereich mathematisch vereinfacht mittels der Dreiecksverteilung — einem Spezialfall der Betaverteilung — näherungsweise berechnet werden. Diese Vereinfachung macht die notwendigen Berechnungen (z.B. mittels Tabellenkalkulation) bei vertretbarer Ungenauigkeit deutlich besser handhabbar.

Mathematische Einzelheiten zur Dreiecksverteilung können z.B. bei hier bei Wikipedia nachgelesen werden.
Wie bereits erwähnt habe ich das gesamte hier beschriebene Verfahren exemplarisch in einer Tabellenkalkulation realisiert. Bei Interesse daran können Sie sich gerne an mich wenden.

Relative Wahrscheinlichkeit

Die relative Wahrscheinlichkeit entspricht der Dichtefunktion der Dreiecksverteilung mit den Eckpunkten des optimistischen, realistischen und pessimistischen Schätzwerts. Die relativen Wahrscheinlichkeiten für den optimistischen und den pessimistischen Schätzwert sind per Definition Null. Der realistische Schätzwert markiert die höchste relative Wahrscheinlichkeit.

Dreiecksverteilung mit signifikanten Schätzwerten

Dreiecksverteilung (Dichtefunktion) mit signifikanten Schätzwerten

Die gesamte Fläche unter der Kurve entspricht wie gesagt der Wahrscheinlichkeit 1 bzw. 100%.

Absolute Wahrscheinlichkeit

Die absolute Wahrscheinlichkeit entspricht der Verteilungsfunktion der Dreiecksverteilung, also der kumulierten Wahrscheinlichkeit bzw. anschaulich der Fläche unter der Dichtefunktion.

Bei der Berechnung der Verteilungsfunktion macht sich die mathematische Vereinfachung positiv bemerkbar. Das Integral über die Dichtefunktion ist dadurch mit deutlich geringerem Aufwand berechenbar.

Dreiecksverteilung mit signifikanten Schätzwerten

Dreiecksverteilung (Verteilungsfunktion) mit signifikanten Schätzwerten

Somit kann für jede Schätzung innerhalb des sinnvollen Wertebereichs zwischen optimistischem und pessimistischem Wert die entsprechende absolute Eintrittswahrscheinlichkeit angegeben werden.

Umkehrfunktion

Mittels der Umkehrfunktion der Verteilungsfunktion kann für jede gewünschte Eintrittswahrscheinlichkeit der entsprechende Schätzwert ermittelt werden.

Dreiecksverteilung mit signifikanten Schätzwerten

Dreiecksverteilung (Umkehrfunktion) mit signifikanten Schätzwerten

Erwartungswert

Ein guter erster Anhaltspunkt für eine sinnvolle Schätzung ist der sog. Erwartungswert. Mathematisch ist das der Wert, den eine Zufallsvariable im Mittel annimmt. Per Definition ergibt er sich bei unbegrenzter Wiederholung des zu Grunde liegenden Experiments als Durchschnitt der Ergebnisse. Er ist nicht zu verwechseln mit dem Mittelwert oder Median der Wahrscheinlichkeitsfunktion. Anschaulich balanciert dieser Wert die Wahrscheinlichkeitsmasse, also die Fläche unter der Dichtefunktion.

Bei einer rechtsschiefen Verteilung — wie sie hier außer für den Extremfall der maximalen Konfidenz (Konfidenzfakror 1) vorliegt — liegt der Erwartungswert oberhalb des realistischen Schätzwerts und eignet sich daher gut für eine erste Indikation (Schätzwert mit entsprechender Eintrittswahrscheinlichkeit).

Planen

Welcher Schätzwert als Basis für eine Planung bzw. Kalkulation herangezogen wird, obliegt letztendlich den verhandelnden bzw. planenden Parteien. Ob es der Erwartungswert, ein Schätzwert mit bestimmter Eintrittswahrscheinlichkeit oder ein anderweitig definierter Schätzwert ist — jedenfalls sollte der Schätzwert nie ohne die entsprechende Eintrittswahrscheinlichkeit dokumentiert und kommuniziert werden. So wird allen Beteiligten ein realistisches Bild von der Qualität der Schätzung und der darauf basierenden Planung bzw. Kalkulation vermittelt.

10% Eintrittswahrscheinlichkeit ist nicht unmöglich, aber eben nicht sehr wahrscheinlich.

Ein Kommentar

  1. Vielen Dank für das rege Interesse an diesem Beitrag und die Rückmeldungen zur technischen Umsetzung des hier vorgestellten Verfahrens.
    Die aktualisierte Version der Tabellenkalkulationsvorlage steht ab sofort für Newsletter-Abonennten und auf Nachfrage auch für alle anderen Interessierten zur Verfügung.

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.