Смотря что ты вкладываешь в пресловутое "быть умным".
Шахматы ничего не дают, но хорошо развивают и память и логику и аналитическое мышление, но если думать практически, то конечно они тебе ничего не дадут, это просто игра, которая тебе в жизни не чем не поможет. То же и с математикой и с книгами.
Мозг не мышца, но он так же качается. Книги развивают твою речь, память, помогают рефлексировать, делают тебя более эрудированным и много чего еще и даже пустые книги типа Донцовой или Гарри Поттера всё равно будут давать тебе плюсики.
Начитанные люди элементарно сообразительнее обычных обывателей и дело не в том что они читали именно книги, дело в том что они тренировали свой мозг.