Zudem ist er gewähltes Mitglied des Fachkollegiums Informatik der Deutschen Forschungsgemeinschaft (DFG), Mitglied im Expertengremium der Nationale Forschungsdaten-Infrastruktur (NFDI) sowie Mitglied im Senatsausschuss Wettbewerb (SAW) der Leibniz-Gemeinschaft. Bereits seit 2016 ist Prof. Dr. Erhard Rahm Sprecher des Fachbereichs „Datenbanksysteme und Informationssysteme“ (DBIS) der Gesellschaft für Informatik.
Die Gesellschaft für Informatik e.V. ist mit rund 20.000 persönlichen und 250 korporativen Mitgliedern die größte Fachgesellschaft für Informatik im deutschsprachigen Raum und vertritt seit 1969 die Interessen der Informatikerinnen und Informatiker in Wissenschaft, Wirtschaft, öffentlicher Verwaltung, Gesellschaft und Politik.