small issue in the report

[kite-sense]

Assignment1的report中，2.3.2是不是写反了啊，batch_size是正的时候是mini-BGD，负的时候是BGD？

[OctCarp]

Assignment1的report中，2.3.2是不是写反了啊，batch_size是正的时候是mini-BGD，负的时候是BGD？

看了一下我的实现，这里是我犯了一个概念性的错误。

SUSTech_CS324-Deep-Learning_S24_Works/Assignment1/Part_2/train_mlp_numpy.py

Lines 87 to 114 in 8aec644

	if batch_sz < 0:
	actual_batch = -batch_sz
	index = np.random.randint(low=0, high=train_length - actual_batch + 1)
	step_x = shuffled_x[index : index + actual_batch]
	step_y = shuffled_y[index : index + actual_batch]
	predictions = mlp.forward(step_x)
	dout = loss_fn.backward(predictions, step_y)
	mlp.backward(dout)
	train_acc = accuracy(predictions, step_y)
	train_loss = loss_fn.forward(predictions, step_y)
	for layer in trainable_layers:
	layer.update_params(learning_rate)
	else:
	lr = learning_rate / batch_size
	for start_idx in range(0, train_length - batch_sz + 1, batch_sz):
	step_x = shuffled_x[start_idx : start_idx + batch_sz]
	step_y = shuffled_y[start_idx : start_idx + batch_sz]
	predictions = mlp.forward(step_x)
	dout = loss_fn.backward(predictions, step_y)
	mlp.backward(dout)
	train_acc += accuracy(predictions, step_y)
	train_loss += loss_fn.forward(predictions, step_y)
	for layer in trainable_layers:
	layer.update_params(learning_rate=lr)
	iter_cnt = train_length // batch_sz
	train_acc /= iter_cnt
	train_loss /= iter_cnt

实际上我正值的实现接近于通常意义上的 Mini-BGD，而我并没有进行真正意义上的 BGD：BGD 是一次使用所有样本计算梯度并更新，在实践中，由于 BGD 所需要的内存和计算开销过于大，很难真正实现。在一般深度学习中都是使用 Mini-BGD。我负值的实现更像是一种 SGD 和 Mini-BGD 融合的四不像。

这个部分确实犯了概念不清的错误，感谢提醒。

[kite-sense]

Assignment1的report中，2.3.2是不是写反了啊，batch_size是正的时候是mini-BGD，负的时候是BGD？

看了一下我的实现，这里是我犯了一个概念性的错误。

SUSTech_CS324-Deep-Learning_S24_Works/Assignment1/Part_2/train_mlp_numpy.py

Lines 87 to 114 in 8aec644

if batch_sz < 0:
actual_batch = -batch_sz
index = np.random.randint(low=0, high=train_length - actual_batch + 1)
step_x = shuffled_x[index : index + actual_batch]
step_y = shuffled_y[index : index + actual_batch]
predictions = mlp.forward(step_x)
dout = loss_fn.backward(predictions, step_y)
mlp.backward(dout)
train_acc = accuracy(predictions, step_y)
train_loss = loss_fn.forward(predictions, step_y)
for layer in trainable_layers:
layer.update_params(learning_rate)
else:
lr = learning_rate / batch_size
for start_idx in range(0, train_length - batch_sz + 1, batch_sz):
step_x = shuffled_x[start_idx : start_idx + batch_sz]
step_y = shuffled_y[start_idx : start_idx + batch_sz]
predictions = mlp.forward(step_x)
dout = loss_fn.backward(predictions, step_y)
mlp.backward(dout)
train_acc += accuracy(predictions, step_y)
train_loss += loss_fn.forward(predictions, step_y)

     for layer in trainable_layers: 
         layer.update_params(learning_rate=lr) 
 iter_cnt = train_length // batch_sz 
 train_acc /= iter_cnt 
 train_loss /= iter_cnt 

实际上我正值的实现接近于通常意义上的 Mini-BGD，而我并没有进行真正意义上的 BGD：BGD 是一次使用所有样本计算梯度并更新，在实践中，由于 BGD 所需要的内存和计算开销过于大，很难真正实现。在一般深度学习中都是使用 Mini-BGD。我负值的实现更像是一种 SGD 和 Mini-BGD 融合的四不像。

这个部分确实犯了概念不清的错误，感谢提醒。

牛逼兄弟，我借鉴你代码，直接把负的删了，只留下正的，batch_size == 1就是SGD，batch_size == train_size就是BGD，中间就是mini-BGD

[OctCarp]

牛逼兄弟，我借鉴你代码，直接把负的删了，只留下正的，batch_size == 1就是SGD，batch_size == train_size就是BGD，中间就是mini-BGD

明确概念之后修改一下就行了，这么实现确实是可以的。