Projektaufbau – Entrauschungs-KI

Autoren:	Fabian Babik, Adrian Klinspon
Art:	Projekt im Praxissemester
Dauer:	29.09.2025 bis 09.01.2026
Betreuer:	Prof. Dr.-Ing. Schneider

Aufbau

Dieses Projekt implementiert ein Denoising Convolutional Neural Network (DnCNN) in MATLAB unter Verwendung von Residual Learning. Es dient dazu, Bildrauschen aus digitalen Bildern zu entfernen. Im Gegensatz zu klassischen Ansätzen lernt das Netz hierbei das Rauschen selbst (Residual) und subtrahiert es vom Eingangsbild.

Technische Voraussetzungen

MATLAB mit folgenden Toolboxen:

• Deep Learning Toolbox
• Image Processing Toolbox
• Computer Vision Toolbox
• Parallel Computing Toolbox

Training (TrainDnCNN.m)

Trainiert das neuronale Netz mit Bildern aus dem Ordner ./ImagesForTraining. Dieser Ordner enthält die Trainingsdaten, zusammengestellt aus den Datensätzen BSDS500 und DIV2K.

Funktionsweise

Das Skript prüft, ob Patches existieren, und bietet via Dialog an, neue zu erstellen.

• Daten-Verarbeitung
  • Quellen: Bilder werden aus ./ImagesForTraining (und Unterordnern) geladen.
  • Patch-Extraktion: Bilder werden in 50x50 Pixel große Ausschnitte zerlegt (Stride: 30px, Overlap: 20px).
  • Filterung: Nur RGB-Bilder, die größer als die Patches sind, werden verarbeitet.
  • Speicherung: Patches werden physisch im Ordner ./PatchesCreatedByThisScriptInOrderToProperlyTrainTheAI abgelegt.
• Datensatz-Split: Die erstellten Patches werden im Verhältnis 90:10 in Trainings- und Validierungsdaten unterteilt (trainSplit = 0.9)
• Noise-Augmentation: Während des Trainings wird dynamisch Rauschen mittels einer Helper-Funktion (addNoise) hinzugefügt.
• Architektur: Ein 15-Layer tiefes CNN mit Residual Learning.
• Optimiser: Verwendet ADAM mit dynamischer Anpassung der Lernrate (Piecewise Drop).
• Training-Modi: Über einen Dialog kann gewählt werden zwischen:

1. Train new AI: Startet mit einer Lernrate von 1e-3.
2. Train old AI: Lädt trainierte AI und setzt das Training mit einer feineren Lernrate von 1e-4 fort.

• Speicherung: Das beste Ergebnis (gemessen am Validation-Loss) wird gespeichert. Das finale Netz wird unter .KIs/Neue_KI.mat abgelegt.

Code-Auszug

% --- Grundkonfiguration & Parameter ---
pathToImages = './ImagesForTraining'; 
patchDirectory = './PatchesCreatedByThisScriptInOrderToProperlyTrainTheAI';

patchSize = 50;           % Patch-Größe: 50x50 Pixel
stride = 30;              % Versatz (Stride)
trainSplit = 0.9;         % 90% Training, 10% Validierung
maxPatchesPerImage = 600; % Max. 600 Patches pro Bild
networkDepth = 15;        % Tiefe des Netzwerks

% --- (Code-Abschnitt zur Patch-Erstellung hier ausgeblendet) ---
% ... Bilder werden geladen, geprüft und in Patches zerlegt ...

% --- Datensatz vorbereiten ---
% Lädt alle Patches und konvertiert sie zu Double
allPatches = imageDatastore(patchDirectory, 'ReadFcn', @(f)im2double(imread(f)));

% Zufällige Aufteilung (Split)
numFiles = numel(allPatches.Files);
idx = randperm(numFiles);
trainFiles = allPatches.Files(idx(1:round(trainSplit * numFiles)));
valFiles   = allPatches.Files(idx(round(trainSplit * numFiles) + 1:end));

% Datastores mit dynamischem Rauschen (addNoise Funktion) erstellen
dsTrain = transform(imageDatastore(trainFiles), @(x)addNoise(x, true));
dsVal   = transform(imageDatastore(valFiles),   @(x)addNoise(x, true));

% --- Netzwerk-Architektur & Modus ---
% Abfrage: Neue KI trainieren oder alte fortsetzen?
if strcmp(trainNewOrOldAI, 'Neue KI trainieren')
    initialLRate = 1e-3;
    
    % 1. Eingabe-Block (Start)
    layers = [
        imageInputLayer([patchSize patchSize 3], "Normalization", "none")
        convolution2dLayer(3, 64, 'Padding', 'same')
        batchNormalizationLayer
        reluLayer
    ];

    % 2. Mittlere Layer (Schleife für Tiefe)
    for i = 2:(networkDepth-1)
        layers = [
            layers
            convolution2dLayer(3, 64, 'Padding', 'same')
            batchNormalizationLayer
            reluLayer
        ];
    end

    % 3. Ausgabe-Block (Ende)
    layers = [
        layers
        convolution2dLayer(3, 3, "Padding","same")
        batchNormalizationLayer
        regressionLayer
    ];
    
    lGraph = layerGraph(layers);
else
    % Alte KI laden
    loadNet = load('./KIs/Alte_KI.mat');
    lGraph = layerGraph(loadNet.net);
    initialLRate = 1e-4; % Feinere Lernrate
end

% --- Training Starten ---
options = trainingOptions("adam", ...
    'MaxEpochs', 50, ...
    'MiniBatchSize', 128, ...
    'InitialLearnRate', initialLRate, ...
    'LearnRateSchedule', 'piecewise', ...
    'LearnRateDropFactor', 0.3, ...
    'LearnRateDropPeriod', 12, ...
    'ValidationData', dsVal, ...
    'OutputNetwork', 'best-validation-loss', ...
    'Plots', 'training-progress');

net = trainNetwork(dsTrain, lGraph, options);
save('.KIs/Neue_AI.mat', 'net');

Evaluierung (EvalDnCNN.m)

Wendet das trainierte Modell auf neue Bilder im Ordner ./Testbilder an und speichert die Ergebnisse in einem Unterordner.

Funktionsweise

• Dateimanagement: Das Skript sucht automatisch nach diversen Bildformaten (.png, .jpg, .tif, etc.) und erstellt einen Ausgabeordner.
• Preprocessing: Lädt Bilder, wandelt sie in `double` um und konvertiert Graustufenbilder künstlich in 3-Kanal-Bilder (RGB), da das Netz RGB erwartet.
• Rauschen: Über das Flag isImageNoisy wird gesteuert, ob das Bild bereits verrauscht ist. Falls nicht (0), fügt das Skript automatisch Gaußsches Rauschen hinzu.
• Entrauschen: Das Bild wird durch das Netz geschickt (denoiseImages) und anschließend mittels imresize sicherheitshalber auf die Originalgröße zurückskaliert.
• Fehlerbehandlung: Durch einen try-catch-Block stürzt das Skript nicht ab, falls eine einzelne Datei beschädigt ist.
• Visualisierung: Erstellt eine Collage (Original | Weißer Trennstrich | Ergebnis) mit dynamischer Schriftgröße für die Beschriftung ("Input", "Output").

Code-Auszug

clear; clc; close all;

% --- Parameter ---
imageFolder = './TestBilder';   % Verzeichnis mit den Testbildern
isImageNoisy = 1;               % 1 = Bilder sind schon verrauscht, 0 = Rauschen hinzufügen

% --- Output Konfiguration ---
outputFolder = fullfile(imageFolder, 'KI'); % Zielpfad
if ~exist(outputFolder, 'dir')
    mkdir(outputFolder); % Erstellt Ordner, falls nicht vorhanden
end

% --- Modell laden ---
if ~exist('net', 'var')
    % Lädt das trainierte Netzwerk (.mat Datei)
    data = load('KIs/KI.mat'); 
    net = data.net; 
end

% --- Bilder suchen (Auszug) ---
% (Hier sucht das Skript nach .png, .jpg, .tif, etc. und füllt 'allImages')
% ...

% --- Verarbeitungs-Schleife ---
fprintf('Verarbeite %d Bilder. Bitte warten...\n', numel(allImages));

for k = 1:numel(allImages)
    try
        % Bild laden und Basisnamen extrahieren
        fullFileName = fullfile(allImages(k).folder, allImages(k).name);
        [~, baseName, ~] = fileparts(allImages(k).name);
        
        imgDouble = im2double(imread(fullFileName)); 

        % Graustufen zu RGB konvertieren falls nötig
        if size(imgDouble, 3) == 1
            imgDouble = cat(3, imgDouble, imgDouble, imgDouble);
        end
        
        [h, w, ~] = size(imgDouble); % Original-Dimensionen speichern

        % Rauschen simulieren (falls Flag auf 0)
        if ~isImageNoisy
            imgDouble = imnoise(imgDouble, "gaussian", 0, 0.03);
        end

        % --- Entrauschen ---
        % Wendet das Netz an
        imgRestored = denoiseImages(net, imgDouble, 50, 20, true);
        
        % Auf Originalgröße zurückskalieren & RGB sicherstellen
        imgRestored = imresize(imgRestored, [h, w]);
        if size(imgRestored, 3) == 1
            imgRestored = cat(3, imgRestored, imgRestored, imgRestored);
        end

        % --- Collage erstellen (Input | Separator | Output) ---
        separatorWidth = 20; 
        separator = ones(h, separatorWidth, 3); % Weißer Streifen
        collage = [imgDouble, separator, imgRestored]; 

        % Beschriftung und Positionierung
        textLabels = {'Input', 'Output'};
        positions = [10, 10; (w + separatorWidth + 10), 10];

        collage = insertText(collage, positions, textLabels, ...
            'FontSize', max(20, round(h/25)), ... % Dynamische Schriftgröße
            'BoxColor', 'white', 'BoxOpacity', 0.7, 'TextColor', 'black');

        % Speichern
        saveName = fullfile(outputFolder, [baseName '_Result.jpg']);
        imwrite(collage, saveName);

    catch ME
        % Fehler abfangen und Loop fortsetzen
        fprintf('Konnte %s nicht speichern: %s\n', allImages(k).name, ME.message);
    end
end

Rausch-Generator Tool (addNoise.m)

Diese Funktion dient der dynamischen Datenaufbereitung (Data Augmentation) während des Trainings. Sie wird vom `imageDatastore` aufgerufen, um jedem sauberen Bild Rauschen hinzuzufügen und das Trainingsziel zu definieren.

Funktionsweise

• Input: Erwartet ein sauberes Bild (`clean`) und das Flag für Residual Learning (`useResidual`).
• Dynamisches Rauschen: Es wird zufällig (50/50 Chance) zwischen Gaußschem Rauschen und Salt & Pepper gewählt.
• Variable Intensität: Die Stärke des Rauschens ist nicht statisch, sondern variiert zufällig zwischen **0.01 und 0.10** (`0.01 + rand()*0.09`).
• Residual Learning:
  • Ist useResidual = true, berechnet die Funktion die Differenz (noisy - clean). Das Netz lernt also nur, das Rauschen vorherzusagen.
  • Ist useResidual = false, ist das Ziel das saubere Originalbild.
• Output: Gibt ein Paar {verrauschtesBild, ZielBild} zurück.

Code

function pair = addNoise(clean, useResidual)
    clean = im2double(clean); % Konvertiert Bild in Double-Format (0 bis 1)

    % Zufällige Auswahl des Rausch-Typs (50% Chance)
    if rand() > 0.5
        % Gaußsches Rauschen mit zufälliger Varianz (0.01 bis 0.10)
        noisy = imnoise(clean,'gaussian', 0, 0.01 + rand() * 0.09);
    else
        % Salt & Pepper Rauschen mit zufälliger Dichte (0.01 bis 0.10)
        noisy = imnoise(clean, 'salt & pepper', 0.01 + rand() * 0.09);
    end

    % Berechnung des Trainingsziels (Target)
    % Wenn useResidual == true:  Target = (noisy - clean) -> Nur das Rauschen lernen
    % Wenn useResidual == false: Target = clean           -> Das saubere Bild lernen
    target = useResidual * (noisy - clean) + ~useResidual * clean;

    pair = {noisy, target}; % Rückgabe als Paar für den Datastore
end

Quellen

• P. Arbeláez, M. Maire, C. Fowlkes and J. Malik, "Contour Detection and Hierarchical Image Segmentation," in IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 33, no. 5, pp. 898-916, May 2011, doi: 10.1109/TPAMI.2010.161. keywords: {Image segmentation;Pixel;Detectors;Image edge detection;Humans;Histograms;Benchmark testing;Contour detection;image segmentation;computer vision.}
• R. Timofte, S. Gu, J. Wu, L. Van Gool, L. Zhang, M.-H. Yang, M. Haris et al., "NTIRE 2018 Challenge on Single Image Super-Resolution: Methods and Results," in The IEEE Conference on Computer Vision and Pattern Recognition (CVPR) Workshops, June 2018.