Ing Mathematik: Landau

Zurück zu Python für Ingenieure | Hoch zu Gesamtinhaltsverzeichnis | Vor zu Mathematische Texte mit LaTeX schreiben

Landau-Symbole werden in der Mathematik und Informatik verwendet, um das asymptotische Verhalten von Funktionen und Folgen zu beschreiben oder auch um das Zeitverhalten von Algorithmen abzuschätzen. Konkrete Laufzeitmessungen sind abhängig von der verwendeten Hardware. Um das auf abstrakterer Ebene durchzuführen verwendet man die Landau-Notation (auch O-Notation, auf englisch Big Oh Notation genannt). Eingeführt wurde das $O$-Symbol durch den Zahlentheoretiker Paul Bachmann. Bekannt wurde diese Notation durch den Mathematiker Edmund Landau. Es gibt mehrere Landau-Symbole, von denen die Gebräuchlichsten im Nachfolgenden kurz vorgestellt werden.

Das $O$-Symbol

Die Definition $f(n)=O(g(n))$ bedeutet: $f(n)\leq c\cdot g(n)$ für alle $n\geq n_{0}$ und ein $c\in \mathbb {R} ^{+}$.

Genaugenommen ist das Gleichheitssymbol bei $f(n)=O(g(n))$ nicht korrekt. Es müsste heißen $f(n)\in {\mathcal {O}}(g(n))$. Aber in der Literatur ist meistens die Variante mit dem Gleichheitszeichen zu finden und das wird auch hier so gehandhabt. Dieses $O$-Symbol ist das von den Landau-Symbolen am meisten verwendete.

Beispiel 1

Gilt $2^{n+1}=O(2^{n})$?

Lösung:

Es muss gelten: $f(n)\leq c\cdot g(n)$, mit $f(n)=2^{n+1},g(n)=2^{n}$, d.h.,

$2^{n+1}\leq c\cdot 2^{n}$

$2\cdot 2^{n}\leq c\cdot 2^{n}$

Mit $c\geq 2$ gilt für alle $n\geq 0$: $2^{n+1}=O(2^{n})$, was zu zeigen war.

Nachfolgende Grafik zeigt obigen Sachverhalt für eine Konstante c=3.

Das zugehörige Python-Programm:

import matplotlib.pyplot as plt
import numpy as np

n = np.arange(0, 20, .1)
f = 2**(n+1)
g = 2**n
c = 3

plt.plot(n, f, label = "f = 2**(n+1)", color="orange")
plt.plot(n, c*g, label = "g = 2**n", color ="blue")
plt.grid()
plt.title("O-Notation")
plt.xlabel("n")
plt.ylabel("f,g")
plt.legend(loc="best")
plt.text(10,1e6,"mit c=3")

plt.show()

Beispiel 2

Gilt $2^{n}=O(3^{n})$?

Lösung:

Ja, denn $2^{n}\leq c\cdot 3^{n}$ gilt für alle $n\geq 0$ und z.B. $c=1$.

Das $\Omega$-Symbol

Die Definition $f(n)=\Omega (g(n))$ bedeutet: $f(n)\geq c\cdot g(n)$ für alle $n\geq n_{0}$ und ein $c\in \mathbb {R} ^{+}$.

Beispiel

Gilt $n^{n}=\Omega (n!)$?

Lösung:

Wir müssen zeigen, dass $n^{n}\geq c\cdot n!$ mit einem beliebigen $c\in \mathbb {R} ^{+}$, bspw. $c=1$. Am einfachsten machen wir das mit einer vollständigen Induktion.

Induktionsanfang: $n=1$

$1^{1}\geq 1!$

$1\geq 1$ passt!

Induktionsschritt:

$(n+1)^{n+1}\geq (n+1)!$

$(n+1)(n+1)^{n}\geq ((n+1)\cdot n!$

$(n+1)^{n}\geq n!$

Die Induktionsvoraussetzung war aber, dass $(n)^{n}\geq n!$, somit gilt auch immer $(n+1)^{n}\geq n!$, was zu zeigen war. Es gilt somit $n^{n}=\Omega (n!)$.

Python-Code:

import matplotlib.pyplot as plt
import numpy as np
import scipy.special as scs

n = np.arange(0.5, 5, 0.1)
f = n**n
g = scs.factorial(n)
c = 1

plt.plot(n, f, label = "f = n**n", color="orange")
plt.plot(n, c*g, label = "g = n!", color ="blue")
plt.grid()
plt.title("Omega-Notation")
plt.xlabel("n")
plt.ylabel("f,g")
plt.legend(loc="best")
plt.text(2,20,"mit c=1")
plt.semilogy()

plt.show()

Das $\Theta$-Symbol

Die Definition $f(n)=\Theta (g(n))$ bedeutet: $c_{2}\cdot g(n)\leq f(n)\leq c_{1}\cdot g(n)$ für alle $n\geq n_{0}$ und $c_{1},c_{2}\in \mathbb {R} ^{+}$.

Hier gilt es zu zeigen, dass $f(n)$ ab einem $n_{0}$ zwischen $c_{1}\cdot g(n)$ und $c_{2}\cdot g(n)$ liegt.

Aufgaben

• Gilt ${\sqrt {n}}=\Theta (\log n^{3})$?
• Gilt $100=\Theta (log100)$?

Rechnen mit der Landau-Notation

Addition

$O(f(n)+g(n))\rightarrow O(\max(f(n),g(n))$

$\Omega (f(n)+g(n))\rightarrow \Omega (\max(f(n),g(n))$

$\Theta (f(n)+g(n))\rightarrow \Theta (\max(f(n),g(n))$

Beispiel: $O(n^{3}+n^{2}+1)=O(n^{3})$

Multiplikation

$O(c\cdot f(n))\rightarrow O(f(n))$

$\Omega (c\cdot f(n))\rightarrow \Omega (f(n))$

$\Theta (c\cdot f(n))\rightarrow \Theta (f(n))$

mit c > 0.

Beispiel: $O(500n^{3})=O(n^{3})$

$O(f(n))\cdot O(g(n))\rightarrow O(f(n)\cdot g(n))$

$\Omega (f(n))\cdot \Omega g(n))\rightarrow \Omega (f(n)\cdot g(n))$

$\Theta (f(n))\cdot \Theta g(n))\rightarrow \Theta (f(n)\cdot g(n))$

Beispiel: $O(n)\cdot O(n!)=O(n\cdot n!)$

Grenzwertregeln

Ab und zu finden sich auch folgende Regeln zur Definition von $O$ und $\Omega$.

$\lim _{n\to \infty }{\frac {f(n)}{g(n)}}<\infty \rightarrow f(n)=O(g(n))$

$\lim _{n\to \infty }{\frac {f(n)}{g(n)}}>0\rightarrow f(n)=\Omega (g(n))$

Komplexitätsklassen

Nachfolgend eine leicht überarbeitete Tabelle aus  Wikipedia mit gebräuchlichen Komplexitätsklassen. Wenn Sie am Anfang nicht alles verstehen - kein Problem, die Tabelle geht schon sehr ins Detail und ist eher für Informatiker von Interesse.

Notation	Bedeutung	Anschauliche Erklärung	Beispiele für Laufzeiten
$f\in {\mathcal {O}}(1)$	$f$ ist beschränkt.	$f$ überschreitet einen konstanten Wert nicht (ist unabhängig vom Wert des Arguments $n$).	Feststellen, ob eine Binärzahl gerade ist Nachschlagen des $n$-ten Elementes in einem Feld in einer Registermaschine
$f\in {\mathcal {O}}(\log \log n)$	$f$ wächst doppel-logarithmisch.	Bei Basis 2 erhöht sich $f$ um 1, wenn $n$ quadriert wird.	Interpolationssuche im sortierten Feld mit $n$ gleichförmig verteilten Einträgen
$f\in {\mathcal {O}}(\log n)$	$f$ wächst logarithmisch.	$f$ wächst ungefähr um einen konstanten Betrag, wenn sich $n$ verdoppelt. Die Basis des Logarithmus ist dabei egal.	Binäre Suche im sortierten Feld mit $n$ Einträgen
$f\in {\mathcal {O}}({\sqrt {n}})$	$f$ wächst wie die Wurzelfunktion.	$f$ wächst ungefähr auf das Doppelte, wenn sich $n$ vervierfacht.	Anzahl der Divisionen des naiven Primzahltests (Teilen durch jede ganze Zahl $\leq {\sqrt {n}}$)
$f\in {\mathcal {O}}(n)$	$f$ wächst linear.	$f$ wächst ungefähr auf das Doppelte, wenn sich $n$ verdoppelt.	Suche im unsortierten Feld mit $n$ Einträgen (Bsp. Lineare Suche)
$f\in {\mathcal {O}}(n\log n)$	$f$ hat super-lineares Wachstum.		Vergleichbasierte Algorithmen zum Sortieren von $n$ Zahlen Mergesort, Heapsort
$f\in {\mathcal {O}}(n^{2})$	$f$ wächst quadratisch.	$f$ wächst ungefähr auf das Vierfache, wenn sich $n$ verdoppelt.	Einfache Algorithmen zum Sortieren von $n$ Zahlen Selectionsort
$f\in {\mathcal {O}}(n^{m})$	$f$ wächst polynomiell.	$f$ wächst ungefähr auf das $2^{m}$-Fache, wenn sich $n$ verdoppelt.	„Einfache“ Algorithmen
$f\in {\mathcal {O}}(2^{n})$	$f$ wächst exponentiell.	$f$ wächst ungefähr auf das Doppelte, wenn sich $n$ um 1 erhöht.	Erfüllbarkeitsproblem der Aussagenlogik (SAT) mittels erschöpfender Suche
$f\in {\mathcal {O}}(n!)$	$f$ wächst faktoriell.	$f$ wächst ungefähr auf das $(n+1)$-Fache, wenn sich $n$ um 1 erhöht.	Problem des Handlungsreisenden (mit erschöpfender Suche)
$f\in {\mathcal {O}}(A(n))$	$f$ wächst wie die modifizierte Ackermannfunktion.		Problem ist berechenbar, aber nicht notwendig primitiv-rekursiv

Abschätzungen mit der Landau-Notation

Meist wird man an der worst-case-Laufzeit interessiert sein, d.h. die Abschätzungen erfolgen mit dem $O$-Symbol, z.B.

n = 5                       # O(1)
m = 5                       # O(1)

for i in range(0, n, 1):    # O(n)
    print("Hallo Welt")     # O(1)
    print(m)                # O(1)    
    m += 1                  # O(1)

print("Ende")               # O(1)

Es ergibt sich $O(1)+O(1)+O(n)*(O(1)+O(1)+O(1))+O(1)=$ $O(2)+O(n)*O(3)+O(1)=O(2)+O(3n)+O(1)=O(n)$.

Dieses Beispiel ist von der Komplexitätsklasse $O(n)$. Auch wenn hier die print-Befehle sicher mehr Ressourcen verbrauchen wie einfache Zuweisungen, so wird dies bei der Auswertung mit der Landau-Notation vernachlässigt.

Zurück zu Python für Ingenieure | Hoch zu Gesamtinhaltsverzeichnis | Vor zu Mathematische Texte mit LaTeX schreiben