로컬 LLM 댓글 검수 — 모델 교체기

느려터진 무인카페 댓글 검수 좌충우돌 모험기

댓글이 쌓이고 있었다

카페 방명록에 댓글이 달리면, 사람이 직접 보는 게 아니라 로컬 LLM이 먼저 검수를 합니다. 욕설인지, 광고인지, 그냥 좋은 후기인지 판단해서 자동으로 처리하는 구조예요.

https://cafepurplemint.com (깨알같은 홍보)

그런데 어느 날 로그를 보다가 이상한 걸 발견했습니다.

[MOD] Processing 5 pending entries...
[MOD] Processing 5 pending entries...
[MOD] Processing 5 pending entries...

같은 로그가 계속 찍히고 있었어요. 처리가 끝나지 않은 채로 다음 폴링이 돌고 있었습니다.

원인은 단순했습니다. 댓글 하나 검수하는 데 평균 5.6초. 폴링 주기는 1초. 수학적으로 댓글이 조금만 몰려도 처리 큐가 쌓일 수밖에 없었습니다. (사실 카페 홈페이지를 만들고. 지인 단체방에 댓글 한번 해보라고 홍보아닌 홍보를 했었죠.)

[Read More]
AI  LLM  Cafe 

AI와 함께 카페 메뉴를 정리한 이야기

AI와 함께 3년 묵은 카페 홈페이지를 리뉴얼한 이야기

3년 만에 홈페이지를 고쳤습니다

와이프는 현재 무인카페 주인입니다. 그리고 3년전 제가 워드프레스 기반으로 카페 홈페이지를 만들었었죠.

그 후로 거의 손을 안 댔습니다. 메뉴가 바뀌어도, 이미지가 달라져도, 홈페이지는 그냥 그 자리에 있었습니다. 관리가 번거로웠거든요. 어느 날 홈페이지를 열어봤더니, 현실과 너무 달랐습니다. 없어진 메뉴가 올라가 있고, 있는 메뉴가 빠져 있었습니다.

이건 아니다 싶었습니다. 그래 리뉴얼을 결심했습니다. (사실 작년ㅜ터..)

이번엔 쉽게 관리할 수 있는 구조로 처음부터 다시 만들기로 했습니다. 그 과정에서 AI를 적극 활용해보기로 했습니다.

[Read More]
AI  LLM  Cafe