Wie genau ist aiT?

Studie von Airbus France (aiT für PowerPC 755)

Der Vergleich zeigt, daß die von aiT berechneten Worst-Case-Laufzeiten typischerweise rund 25% höher sind als die gemessenen Zeiten, wobei die tatsächliche aber nicht berechenbare WCET irgendwo dazwischen liegt. Erwähnenswert ist auch ein weiterer Vergleich, nämlich der der aiT-Analyseergebnisse mit den Ergebnissen der traditionellen Airbus-Methoden. Wie bereits vorhergesagt wurde, als die Entscheidung für aiT fiel, sind die Ergebnisse der traditionellen Methoden weitaus ungenauer als die von aiT berechneten Zeiten. Eigentlich ist der Unterschied sogar so groß, daß die traditionellen Methoden unbrauchbar sind.

• Vollständiger Bericht (in Englisch, PDF, 190kB)

Die Studie stammt aus dem Jahre 2003. aiT wurde seitdem ständig weiterentwickelt, so daß die aktuelle Version noch viel genauere Ergebnisse liefert.

Studie am Volvo-Code an der Mälardalen-Universität (aiT für C16x)

In seiner Diplomarbeit “Statische WCET-Analyse von task­orientiertem Code für Baufahrzeuge” berichtete Daniel Sehlberg, daß aiT die ge­messene WCET im Schnitt um nur 16% überschätzt. Zugleich über­schätzten Volvos traditionelle Methoden die WCET derselben Tasks im Schnitt um 212%.

• Vollständiger Bericht (in Englisch, PDF, 1,2MB)

Tests mit ETAS’ ASCET (aiT für ST10)

Die nachfolgende Tabelle vergleicht die aiT-Analyseergebnisse mit der gemessenen WCET für die Prozeduren eines Engine-Throttle-Kontrollmoduls. Das Modul wurde in ASCET spezifiziert und mit dem TASKING-C-Compiler v7.5 für ein ST10F269-Mikrocontroller-Board kompiliert. Die Laufzeiten wurden mit dem iSYSTEMS-ILA-128-Logic-Analyzer aus Bus-Traces extrahiert. Das Experiment zeigte eine durchschnittliche WCET-Überschätzung von nur 3%.

• Vollständiger Bericht (in Englisch, PDF, 210kB)

aiT für ARM7 gegen ARMulator

ARMulator ist ein Prozessor-Simulator, der von ARM als Bestandteil des ARM-Development-Toolkits angeboten wird. Er ermöglicht es, das Verhalten eines Programms für einen bestimmten ARM-Prozessor einzuschätzen, ohne das Programm tatsächlich auf dem Prozessor auszuführen.

Eine von Daniel Sandell an der Mälardalen-Universität durchgeführte Studie zeigte, daß die von aiT berechneten Worst-Case-Laufzeiten im Schnitt nur 5% höher lagen als die Ergebnisse der Simulation mit ARMulator.

aiTs Vorhersagen waren in sämtlichen Fällen höher als die Simulationsergebnisse. Wir bewerten das positiv, als ein Zeichen, daß die aiT-Analyseergebnisse sicher sind. Zuletzt sollte man anmerken, daß [in unserem Test] die aiT-Ergebnisse nicht mit dem Verhalten der tatsächlichen Hardware, sondern mit dem eines Hardware-Modells verglichen wurden.

• Vollständiger Bericht (in Englisch, PDF, 2,4MB)

WCET-Tool-Challenge (aiT für C16x, aiT für ARM7 und aiT für PowerPC 565)

2006 nahm aiT an der ersten WCET Tool Challenge teil, einem von der Mälardalen-Universität organisierten und vom ARTIST2-Netzwerk geförderten Wettbewerb. Das erklärte Ziel des Wettbewerbs war es, verschiedene Me­tho­den der WCET-Analyse zu untersuchen und miteinander zu vergleichen. Teilgenommen haben alle zu der Zeit erhältlichen Werkzeuge und Prototypen.

aiT trat als einziges Werkzeug gleich für 3 verschiedene Prozessor-Architekturen an. Es war das einzige Werkzeug, das sämtliche Testprogramme zu analysieren imstande war. Die von aiT gelieferten Ergebnisse waren in den meisten Fällen außerordentlich genau. Das Urteil der Jury lautete, daß aiT sehr benutzerfreundlich ist, den Benutzer vor unrealistischen Code-Annotationen warnt und sehr präzise Analyseergebnisse liefert.

aiT war imstande, alle Arten von Tests zu bewältigen und für sämtliche Testprogramme Er­geb­nisse zu liefern. aiT ermöglicht WCET-Analyse selbst für komplexe Prozessoren. […] aiT demonstriert seine führende Position durch all seine Merkmale und untermauert seine Führung als ein den Anforderungen der Industrie gewachsenes Werkzeug.

• Vollständiger Bericht (in Englisch, PDF, 570kB)