Keras:에러
1 개요
케라스를 사용하다 발생하는 에러들을 모아둔 문서이다.
1.1 InternalError: stream did not block host until done; was already in an error state
쥬피터노트북을 사용할 때 나오는 에러인데, 간단하다. 쥬피터노트북을 재시작하면 해결.
1.2 InternalError: Failed to call ThenRnnForward with model config: [rnn_mode, rnn_input_mode, rnn_direction_mode]:
아마 데이터가 너무 커서 발생하는 에러.
이외.. 모델이 너무 크면 커널을 죽이기도 하던데.. 이건 딱히 뜨는 에러가 없어 모르겠다;;
1.3 AttributeError: module 'keras.utils' has no attribute 'Sequence'
제너레이터를 사용하기 위해 Sequence를 불러올 때, keras.utils.Sequence로 불러오는데... 에러의 원인은 모르겠다.. 버전문제인 듯한데.. 두 가지 방법이 있다.
- 버전이 낮은 경우 : pip install keras --upgrade
- 텐스플로우와 함께 설치된 케라스를 이용해 불러오는 것이 가장 정확하다.
from tensorflow.keras.utils import Sequence - 케라스 단독으로 사용한다면 다음 시도도 해보자.
keras.utils.all_utils.Sequence로 불러오기.from keras.utils.all_utils import Sequence형태로 부르기.
1.4 Function call stack: train_function error
아마 메모리 사용량이 너무 클 때 나타나는 에러인듯. 아래 에러도 비슷한 이유에서 나타나는 듯하다. 하여간... 다른 시간대에 다시 실행하면 작동하기도 해서... 굉장히 당황스러운 에러다;
I tensorflow/core/common_runtime/bfc_allocator.cc:1040] Next region of size 숫자.
1.5 You must install pydot (`pip install pydot`) and install graphviz (see instructions at https://graphviz.gitlab.io/download/) ', 'for plot_model/model_to_dot to work.
관련 라이브러리를 설치하지 않은 경우.
다음 링크를 참고해서 해결했다. 링크 변경사항을 반영하기 위해 IDE를 재시작해야 한다.
2 GPU 관련
2.1 WARNING:tensorflow:Layer lstm will not use cuDNN kernels since it doesn't meet the criteria. It will use a generic GPU kernel as fallback when running on GPU.
몇몇 조건에 의해 GPU 사용이 안될 때 나타나는 에러이다. 단순히 GPU 사용이 안된다는 건데, 큰 메모리를 사용하는 딥러닝의 특성 상 이 에러가 뜨면 실패 확정이라 보면 된다.
다음과 같은 시도가 가능하다.
- recurrent_dropout 옵션 없애기.
- 활성화 함수를 ReLU 대신 다른 것 사용해보기.
2.2 Allocator (GPU_0_bfc) ran out of memory trying to allocate 8.92GiB (rounded to 9574400000)requested by op CudnnRNN
위와 같은 에러는 저만한 용량을 욯지만, GPU에서 처리할 수 없음을 보여준다.
가장 간단한 처리는 메모리 사용을 줄이게끔 batch_size를 줄이는 것. 그러나 메모리가 충분함에도 에러를 띄우는 경우가 있는데, 이는 GPU 사용에 제한이 걸려있기 때문.
| 방법 | 설명 |
|---|---|
| 런타임 할당에 따라 메모리 설정 | 훈련 전에 다음의 코드를 넣는다.config = tf.ConfigProto()
# 2버전 부터는 경로가 바뀌었기 때문에 다음과 같이 넣자. tf.compat.v1.ConfigProto()
config.gpu_options.allow_growth = True
session = tf.Session(config=config)
# 2버전 부터는 경로가 바뀌었기 때문에 다음의 경로를 지정하자. tf.compat.v1.Session
|
| 메모리 할당 비율을 설정 | 훈련 전에 다음의 코드를 넣는다.config = tf.ConfigProto()
config.gpu_options.per_process_gpu_memory_fraction = 0.4
session = tf.Session(config=config)
|