начинает прыгать по плате
Плохая (что, впрочем, отлично видно и на фото) центровка сверла. В том магазине, где моторчик брали, цанговых патронов для него не было, случайно? Лучше потратиться на него. Да и их желательно на месте отбирать - тоже иногда бьют.
посоветуйте что-то с регулятором скорости и кнопкой пожалуйста...
Схем регуляторов скорости настолько много, что даже ссылки на них уже приводить неприлично

По собственным наблюдениям мало от них толку на маломощных двигателях: такие только вхолостую умеют медленно крутиться, под нагрузкой не хватает сил с места тронуться (даже при использовании всяких сложных схем с обратной связью), а когда "срываются", то сразу хорошо набирают обороты.
А вот разместить саму "крутилку" (или кнопку) так, чтобы было удобно пользоваться - это задача не из простых.
Я делал кнопку под указательный палец.
Кто-то, используя осевой люфт шпинделя своего двигателя, разместил микрик над тыльным торцом вала - дрелька включается, как только надавишь сверлом на плату (но, IMHO, минус здесь в том, что ещё до начала вращения сверло уже основательно прижато, а то и вдавлено в материал).
Вам, для разнообразия, могу предложить ножную педаль или кнопку
