Added more content as supervisor suggested
This commit is contained in:
parent
44abf1fddc
commit
81ed77c0a1
1 changed files with 35 additions and 10 deletions
|
|
@ -8,9 +8,19 @@
|
|||
== Literaturrecherche und Konzeption
|
||||
|
||||
Zunächst fand eine tiefere Einarbeitung in die existierende Literatur zu alternierenden Optimierungsverfahren statt.
|
||||
Aufgrund der Nähe der Themen hat sich eine Recherche zu den "k-Means Clustering" und "Expectation-maximization" Algorithmen angeboten. Spannende Literatur zu diesen Themen wurde von Bezdek @bezdek_notes_2002 -- allgemein zu alternierenden Optimierungsverfahren und spezifischer von Do @do_what_2008 publiziert.
|
||||
Aufgrund der Nähe der Themen hat sich eine Recherche zu den "k-Means Clustering" und "Expectation-maximization (EM)" Algorithmen angeboten. Spannende Literatur zu diesen Themen wurde von Bezdek @bezdek_notes_2002 -- allgemein zu alternierenden Optimierungsverfahren und spezifischer von Do @do_what_2008 publiziert.
|
||||
|
||||
==== Vergleiche der Algorithmen mit dem gestellten Problem
|
||||
|
||||
Sowohl die hier vorgestellten Methoden, als auch die "k-Means Clustering" und EM Algorithmen lösen ein Optimierungsproblem mittels eines iterativen Verfahrens.
|
||||
Der EM-Algorithmus befasst sich mit der Schätzung von Parametern in statistischen Modellen, insbesondere wenn der vorgegebene Datensatz unvollständig ist, während der "k-Means" Algorithmus darauf abzielt, Daten in Cluster zu gruppieren. Besonderes bei letzterem ähnelt die Clusterbildung sehr dem hier gestellten Problem.
|
||||
Ein entscheidender Unterschied ist, dass bei k-Means Datenpunkte nur einer vorgegebenen Anzahl an Clustern zugewiesen werden.
|
||||
Eine Beschränkung, welche Datenpunkte in welches Cluster fallen, wird durch den Algorithmus nicht implementiert, wäre aber für eine Verbesserung der Eingangswerte vor der Quantisierung notwendig
|
||||
|
||||
|
||||
Wenngleich diese Publikationen keinen direkten Weg zur Lösung der Problemstellung der Praxis bieten konnten, stellten sie ein gutes Grundverständnis für diese Art von Problem dar.
|
||||
|
||||
|
||||
// Hier noch Unterschiede und Gemeinsamkeiten der Literatur vs. Problem aufstellen in Stichpunkten
|
||||
|
||||
|
||||
|
|
@ -50,7 +60,18 @@ Anschließend wurde die betragsmäßige Optimierung, welche in @bach_original_1
|
|||
Als nächste Möglichkeit für den Multi-Bit Fall ist ein rekursiver Ansatz des Problems implementiert worden. Hierfür werden die Eingangswerte zunächst mit der betragsmäßigen Optimierung verarbeitet um so eine "optimale" Verteilung für den 1-bit Fall zu konstruieren. Anschließend wird die Verteilung in zwei symmetrische Unterverteilungen aufgeteilt, und jeweils deren Mittelwert bestimmt.
|
||||
Anschließend werden für jede Summe der jeweiligen Unterverteilungen zusätzliche fraktionierte Gewichtungen auf die bereits bestehenden Gewichtungen aufaddiert.
|
||||
Basierend auf der Mittelwertbestimmung werden zusätzliche Grenzen definiert, anhand deren die aufkommenden neuen Summen mit fraktionierte Gewichtungen optimal gewählt werden.
|
||||
Basierend auf der Anzahl $m$ an Bits die aus einer Summe extrahiert werden sollen wird dieses Verfahren $m$-Mal mit allen entstehenden Unterverteilungen durchgeführt.
|
||||
Basierend auf der Anzahl $m$ an Bits die aus einer Summe extrahiert werden sollen wird dieses Verfahren $m$-Mal mit allen entstehenden Unterverteilungen durchgeführt.
|
||||
|
||||
#figure(
|
||||
include("../graphics/execution/recursive.typ"),
|
||||
caption: "Darstellung des rekursiven Algorithmus"
|
||||
)<fig:bach_recursive_algo>
|
||||
|
||||
@fig:bach_recursive_algo zeigt das grundsätzliche Schema für den Rekursiven Algorithmus auf.
|
||||
Zu Beginn werden die anfänglichen Eingangswerte nach der Methode zur Betragsoptimierung verarbeitet.
|
||||
Anschließend wird die Verteilung in zwei symmetrische Unterverteilungen aufgeteilt.
|
||||
*n1* beschreibt das Skalar, welches in allen möglichen Kombinationen auf die Helperdaten der Linearkombinationen von *u1* addiert bzw. subtrahiert werden.
|
||||
Um die nächsten beiden Unterverteilungen eines Knotens zu bestimmen, wird ermittelt, welche der neuen möglichen Linearkombinationen mit zusätzlichen Gewichtungen am weitesten Weg von einer
|
||||
|
||||
Ein erstes positives Ergebnis hier war die schnelle Konvergenz der Verteilung und die Gleichverteilung der quantisierten Symbole, da in jeden Grenzbereich möglichst gleich viele Summen gelegt worden sind. @fig:bach_recursive_dist zeigt das Ergebnis des rekursiven Ansatzes für die Quantisierung von 2 Bit.
|
||||
|
||||
|
|
@ -60,19 +81,19 @@ Ein erstes positives Ergebnis hier war die schnelle Konvergenz der Verteilung un
|
|||
caption: "Verteilung der Eingangswerte nach dem rekursiven Ansatz"
|
||||
)<fig:bach_recursive_dist>
|
||||
|
||||
Jedoch stellte sich nach der Analyse der verwendeten Hilfsdatenvektoren heraus, dass durch die Zuweisung der Hilfsdaten Informationen über den Schlüssel ableitbar sind.
|
||||
Jedoch stellte sich nach der Analyse der verwendeten Helperdatenvektoren heraus, dass durch die Zuweisung der Helperdaten Informationen über den Schlüssel ableitbar sind.
|
||||
|
||||
#figure(
|
||||
image("../graphics/execution/helperdata_occurs.png", width: 70%),
|
||||
caption: "Verteilung der Hilfsdatenvektoren für jedes Bitsymbol"
|
||||
caption: "Verteilung der Helperdatenvektoren für jedes Bitsymbol"
|
||||
)<fig:bach_recursive_hd_occurs>
|
||||
|
||||
Das Histogramm in @fig:bach_recursive_hd_occurs zeigt dieses Problem auf. Damit über die Hilfsdaten keine Informationen über den Schlüssel bekannt werden, muss jeder verwendete Hilfsdatenvektor von jedem Symbol gleich häufig verwendet werden. Mit diesem Ansatz werden von je zwei Symbolen jedoch nur vier von acht möglichen Hilfsdatenvektoren verwendet.
|
||||
Das Histogramm in @fig:bach_recursive_hd_occurs zeigt dieses Problem auf. Damit über die Helperdaten keine Informationen über den Schlüssel bekannt werden, muss jeder verwendete Helperdatenvektor von jedem Symbol gleich häufig verwendet werden. Mit diesem Ansatz werden von je zwei Symbolen jedoch nur vier von acht möglichen Helperdatenvektoren verwendet.
|
||||
|
||||
=== Vorgabe des Codeworts
|
||||
|
||||
Eine weitere getestete Methode bestand aus dem vorgeben des zu verwendeten Codewords bzw. Schlüssels.
|
||||
Hierfür werden die Grenzen der Quantisiererfunktion über die kumulative Verteilungsfunktion der Eingangswerte bestimmt. Anschließend wird jene Summe mit Hilfsdaten gewählt, welche die Summe zu ihrem vorgegebenen Codewort quantisieren.
|
||||
Hierfür werden die Grenzen der Quantisiererfunktion über die kumulative Verteilungsfunktion der Eingangswerte bestimmt. Anschließend wird jene Summe mit Helperdaten gewählt, welche die Summe zu ihrem vorgegebenen Codewort quantisieren.
|
||||
|
||||
#figure(
|
||||
image("../graphics/execution/given_codeword.png", width: 65%),
|
||||
|
|
@ -90,18 +111,22 @@ Im Detail wurde für eine große Menge an möglichen Grenzen die Distanzmaximier
|
|||
Direkt im Anschluss wurde über Pearson's Chi-square Test die Gleichverteilung der Quantisierten Symbole überprüft und nach einem Maximum des Ergebnisses des Tests gesucht.
|
||||
@fig:bach_brute_force zeigt das Ergebnis der Verarbeitung dieser Grenzen für einen 3-bit Fall.
|
||||
|
||||
Da diese Brute-Force Operation sehr rechenaufwändig ist, wurden die bereits in Julia implementierten Lösungen für parallel Computing eingesetzt und die Berechnung der idealen Grenzen auf einem Computer mit hoher Rechenkapazität ausgelagert.
|
||||
Da diese Brute-Force Operation sehr rechenaufwendig ist, wurden die bereits in Julia implementierten Lösungen für parallel Computing eingesetzt und die Berechnung der idealen Grenzen auf einem Computer mit hoher Rechenkapazität ausgelagert.
|
||||
|
||||
Damit das parallele Rechnen eine signifikante Verbesserung in der Rechengeschwindigkeit erzielt, gab es einige Punkte zu beachten:
|
||||
- Für einen festgelegten Datensatz ändern sich die möglichen gewichteten Summen nicht wären der Ausführung des Algorithmus', also können diese vorab berechnet und gespeichert werden.
|
||||
- Das Verwenden der "pmap" Funktion zur parallelen Ausführung des Optimierungsalgorithmus hat den Rechenprozess um ca. $700"ms"$ verlangsamt. \
|
||||
Eine effizientere Lösung besteht darin, bei der Ausführung des Julia Skripts die Anzahl an Threads vorzudefinieren und die jeweiligen Funktionen mit dem "\@everywhere" Flag zu markieren, damit sie von den verschiedenen Threads aufgerufen werden können.
|
||||
#figure(
|
||||
image("../graphics/execution/brute-force.png", width: 80%),
|
||||
caption: "Resultat nach Verwendung der durch den Brute-Force Ansatz gefundenen Grenzen"
|
||||
)<fig:bach_brute_force>
|
||||
|
||||
Auch die Betrachtung des Histogramms der Hilfsdatenverteilung zeigt befriedigende Ergebnisse auf.
|
||||
Wie in @fig:bach_brute_force_occurs zu sehen ist, wird jeder Hilfsdatenvektor von jedem Symbol gleich häufig verwendet.
|
||||
Auch die Betrachtung des Histogramms der Verteilung der Helperdaten zeigt befriedigende Ergebnisse auf.
|
||||
Wie in @fig:bach_brute_force_occurs zu sehen ist, wird jeder Helperdatenvektor von jedem Symbol gleich häufig verwendet.
|
||||
|
||||
#figure(
|
||||
image("../graphics/execution/brute-force-occurs.png", width: 80%),
|
||||
image("../graphics/execution/brute-force-occurs.png", width: 75%),
|
||||
caption: "Resultat nach Verwendung der durch den Brute-Force Ansatz gefundenen Grenzen"
|
||||
)<fig:bach_brute_force_occurs>
|
||||
|
||||
|
|
|
|||
Loading…
Add table
Add a link
Reference in a new issue