Решение:

а) Так как \(AC\) — диаметр, то \(\triangle ABC\) — прямоугольный, причём \(\angle B = 90^\circ .\) Пусть \(O\) — середина \(AC,\) тогда \(O\) — центр окружности, лежащей в основании конуса. Далее, \(OM\) — средняя линия \(\triangle ABC\) и, поэтому \(OM \parallel AB,\) \(OM = \cfrac{1}{2} AB,\) \(OM \perp BC.\)

\(SB\) и \(SC\) — образующие конуса и, поэтому, \(SB = SC.\) Значит, в равнобедренном треугольнике \(SBC\) медиана \(SM\) является ещё и высотой: \(SM \perp BC.\) Так как по определению конуса \(SO \perp (ABC),\) то \(OM\) является проекцией \(SM\) на плоскость \(ABC.\) Значит, \(\angle SMO\) — это угол между прямой \(SM\) и плоскостью \((ABC).\) А так как \(\triangle SOM\) — прямоугольный треугольник и \(\angle SOM = 90^\circ ,\) то \(\angle SMO < 90^\circ .\)

Теперь \((ABC) \cap (SBC) = BC.\) А так как \(SM \perp BC\) и \(OM \perp BC,\) то \(\angle SMO\) — линейный угол двугранного угла, образованного плоскостями \((ABC)\) и \((SBC).\) Проведём в плоскости \((SBC)\) перпендикуляр \(FB\) к прямой \(BC.\) Тогда \(\angle FBA = \angle SMO,\) как линейные углы двугранного угла, образованного плоскостями \((ABC)\) и \((SBC).\) Так как \(\angle SMO < 90^\circ,\) то угол между прямой \(AB\) и плоскостью \(SBC\) равен \(\angle SMO.\)

б) Из прямоугольного треугольника \(ABC\) по теореме Пифагора получаем, что $$AB = \sqrt{AC^2 - BC^2} = \sqrt{10^2 - 6^2} = 8$$ Значит, $$OM = \frac{1}{2} AB = 4$$ $$SO = OM \mathrm{tg} \, 60^\circ = 4 \sqrt{3}.$$

Ответ: б) \(4 \sqrt{3}.\)