Schon während der Schulzeit ist Elmar Gillet in der Schülervertretung aktiv. Anfang der 80er Jahre engagiert er sich in der Friedensbewegung. 1983 gründet er in Wesseling DIE GRÜNEN. 1984 wird er Mitglied im Schulausschuss der Stadt Wesseling. 1986 wählt man ihn in den Kreisvorstand der GRÜNEN im Erftkreis. Von 1987 bis 1994 engagiert er sich für die Partei als Landes- und Bundesdelegierter. 1989 wird er Mitglied des Rates der Stadt Wesseling, aus dem er 1994 vorübergehend ausscheidet. Von 1992 bis 1994 und 1995 bis 1999 ist er Abgeordneter des Kreistages für Bündnis 90/DIE GRÜNEN. Von 1997 bis 2009 ist er Mitglied des Stadtrates der Stadt Wesseling. Von 1997 bis 1999 und von 2004 bis 2009 führt er die Stadtratsfraktion als Vorsitzender. Von 1999 bis 2005 ist er Parteivorsitzender des Stadtverbands Wesseling. Im März 2007 wird er zum Vorsitzenden der Grünen im Rhein-Erft Kreis gewählt. Seit März 2007 ist er Mitglied des Landesparteirates NRW. Im Sommer 2007 rückt er über die Reserveliste in den Kreitag des Rhein-Erft-Kreises nach. Im März 2009 wählt ihn die Landesdelegiertenkonferenz auf Platz 24 der Landesliste zur Bundestagswahl 2009. Die Kreistagsfraktion wählt Elmar Gillet im Oktober 2009 einstimmig zum neuen Fraktionsvorsitzenden.