Hallo und herzlich Willkommen bei uns!
Du hast alles schon richtig festgestellt. Du musst die Wärmeleitpaste erneuern und das Kühlsystem reinigen. Dafür musst du auch den Lüfter von der Heatpipe entfernen um die Kühllamellen reinigen zu können, einfach nur von aussen reinpusten reicht nicht aus. Die alte Wärmeleitpaste am besten mit Isopropyl Alkohol restfrei entfernen. Als neue Wärmeleitpaste würde ich dir diese hier empfehlen:
https://geizhals.de/thermal-grizzly-kryonaut-waermeleitpaste-tg-k-001-rs-a1297196.html. Die alten Wärmeleitpads kannst du weiter verwenden.
Was den Ram angeht, da solltest du einen möglichst baugleichen verbauen, dieser hier sollte daher zu 99% kompatibel sein:
https://geizhals.de/kingston-valueram-so-dimm-8gb-kvr16ls11-8-a944055.html?hloc=at&hloc=de. 2 neue Riegel brauchst du dir nicht kaufen, da wirst du keinen Geschwindigkeitsunterschied bemerken. DDR3L gibt es eh nur bis max. 2133Mhz.
Was den MSI Afterburner angeht, da musst du die OSD Funktion erstmal aktivieren in den Einstellungen. Wo es genau geht, kann ich dir gerade nicht sagen, da ich das Tool schon sehr lange nicht mehr nutze.