Wie genau ist aiT?

Die aiT-Analyseergebnisse sind sicher – d.h., sie liegen niemals unter der tat­säch­li­chen WCET. Zugleich sind sie aber auch außerordentlich präzise – d.h., die WCET-Überschätzung wird stets möglichst gering gehalten. Dies wird immer wieder durch unsere eigenen Versuche, die Berichte unserer Kunden, sowie durch unabhängige Studien bestätigt.

Studie von Airbus France (aiT für PowerPC 755)

„Der Vergleich zeigt, daß die von aiT berechneten Worst-Case-Laufzeiten typischerweise rund 25 % höher sind als die ge­messenen Zeiten, wobei die tatsächliche aber nicht berechenbare WCET irgend­wo dazwischen liegt. Erwähnenswert ist auch ein weiterer Vergleich, nämlich der der aiT-Analyseergebnisse mit den Ergebnissen der traditionellen Airbus-Methoden. Wie bereits vorher­gesagt wurde, als die Entscheidung für aiT fiel, sind die Ergebnisse der traditionellen Metho­den weitaus ungenauer als die von aiT berechneten Zeiten. Eigentlich ist der Unter­schied sogar so groß, daß die traditionellen Methoden unbrauchbar sind.“

• Vollständiger Bericht unter www.absint.com/aiT_airbus.pdf (in Englisch, PDF, 190kB)

Die Studie stammt aus dem Jahre 2003. aiT wurde seitdem ständig weiterentwickelt, so daß die aktuelle Version noch viel genauere Ergebnisse liefert.

Studie am Volvo-Code an der Mälardalen-Universität (aiT für C16x)

In seiner Diplomarbeit „Statische WCET-Analyse von task­orientiertem Code für Baufahrzeuge“ berichtete Daniel Sehlberg, daß aiT die ge­messene WCET im Schnitt um nur 16 % überschätzt. Volvos traditionelle Methoden über­schätzten die WCET derselben Tasks im Schnitt um 212 %.

• Vollständiger Bericht unter www.mrtc.mdh.se/publications/1037.pdf (in Englisch, PDF, 1,2MB)

Tests mit ETAS’ ASCET (aiT für ST10)

Die nachfolgende Tabelle vergleicht die aiT-Analyseergebnisse mit der gemes­senen WCET für die Prozeduren eines Engine-Throttle-Kontrollmoduls. Das Modul wurde in ASCET spezifiziert und mit dem TASKING-C-Compiler v7.5 für ein ST10F269-Mikrocontroller-Board kompiliert. Die Laufzeiten wurden mit dem iSYSTEMS-ILA-128-Logic-Analyzer aus Bus-Traces extrahiert. Das Experiment zeigte eine durchschnittliche WCET-Überschätzung von nur 3 %.

• Vollständiger Bericht unter www.absint.com/aiT_ASCET.pdf (in Englisch, PDF, 210kB)

aiT für ARM7 gegen ARMulator

ARMulator ist ein Prozessor-Simulator, der von ARM als Bestandteil des ARM-Development-Toolkits angeboten wird. Er ermöglicht es, das Verhalten eines Programms für einen bestimmten ARM-Prozessor einzuschätzen, ohne das Pro­gramm tatsächlich auf dem Prozessor auszuführen.

Eine von Daniel Sandell an der Mälardalen-Universität durchgeführte Studie zeigte, daß die von aiT berechneten Worst-Case-Laufzeiten im Schnitt nur 5 % höher lagen als die Ergebnisse der Simulation mit ARMulator.

„aiTs Vorhersagen waren in sämtlichen Fällen höher als die Simulationsergebnisse. Wir be­wer­ten das positiv, als ein Zeichen, daß die aiT-Analyseergebnisse sicher sind. Zuletzt sollte man anmerken, daß [in unserem Test] die aiT-Ergebnisse nicht mit dem Verhalten der tatsäch­lichen Hardware, sondern mit dem eines Hardware-Modells verglichen wurden.“

• Vollständiger Bericht unter www.mrtc.mdh.se/publications/0738.pdf (in Englisch, PDF, 2,4MB)

WCET-Tool-Challenge (aiT für C16x, ARM7 und PowerPC 565)

2006 nahm aiT an der ersten WCET-Tool-Challenge teil, einem von der Mälardalen-Universität organisierten und vom ARTIST2-Netzwerk geförderten Wettbewerb. Das erklärte Ziel des Wettbewerbs war es, verschiedene Me­tho­den der WCET-Analyse zu untersuchen und miteinander zu vergleichen. Teilgenommen haben alle zu der Zeit erhältlichen Werkzeuge und Prototypen.

aiT trat als einziges Werkzeug gleich für drei verschiedene Prozessor-Architekturen an. Es war das einzige Werkzeug, das sämtliche Testprogramme zu analysieren imstande war. Die von aiT gelieferten Ergebnisse waren in den meisten Fällen außerordentlich genau. Das Urteil der Jury lautete, daß aiT sehr benutzerfreundlich ist, den Benutzer vor unrealistischen Code-Annotationen warnt und sehr präzise Analyseergebnisse liefert.

„aiT war imstande, alle Arten von Tests zu bewältigen und für sämtliche Testprogramme Er­geb­nisse zu liefern. aiT ermöglicht WCET-Analyse selbst für komplexe Prozessoren. […] aiT de­monstriert seine führende Position durch all seine Merkmale und untermauert seine Führung als ein den Anforderungen der Industrie gewachsenes Werkzeug.“

• Vollständiger Bericht unter www.absint.com/ait/WCET_Tool_Challenge_2006_Final_Report.pdf (in Englisch, PDF, 570kB)