ذم الكلام وأهله هو كتاب من تأليف أبي إسماعيل عبد الله بن محمد بن علي بن محمد بن أحمد بن علي بن جعفر بن منصور الهروي الأنصاري المعروف بـ أبي إسماعيل الهروي (396 هـ - 481 هـ) يحذر فيه علم الكلام ويرد فيه على المتكلمين واستشهد فيه بالأحاديث النبوية وأقوال الصحابة والتابعين ثم أقوال العلماء إلى عصره ويعد الكتاب من المراجع في الرد على المتكلمين حيث نقل عنه ابن تيمية في كتابه بيان تلبيس الجهمية ونقل عنه في كتاب الاستقامة ولخصه السيوطي في صون المنطق والكلام عن فن المنطق والكلام ونقل عنه الذهبي في "تاريخ الإسلام حوادث ووفيات" وانتقاه برهان الدين البقاعي في منتقاه سماه "أحسن الكلام" وألف ابن اللتّي عليه منتخبين (كبير وصغير) أملى الهروي هذا الكتاب على تلميذه أبي يحيي السجري عام 474 هـ.
قال ابن تيمية: «لكن كثير من الناس لم يحيطوا علما بكثير من أقوال السلف والأئمة في ذلك ومعانيها، وقد جمع الناس من كلام السلف والأئمة في ذلك مصنفات مفردة مثل ما جمعه الشيخ عبد الرحمن السلمي، ومثل المصنف الكبير الذي جمعه الشيخ أبو إسماعيل عبد الله بن محمد الأنصاري الملقب بشيخ الإسلام، الذي سماه ذم الكلام وأهله»