AI에게 터미널을 맡기면 위험해 보이는 작업 앞에서 실행해도 되는지 묻습니다. 이 물음이 안전장치 노릇을 한다고 다들 생각하는데, 실제로 무엇을 거르고 있는지는 세어 본 적이 없었습니다. 작업 기록에 남은 도구 호출 102,171건을 꺼내 거부된 것을 갈라 봤습니다. 거부는 306건, 0.3%였습니다. 거의 다 통과시킨다는 뜻입니다. 그런데 거부된 306건이 한쪽으로 완전히 쏠려 있었습니다. 306건 전부가 로컬 셸 명령이었고…
AI에게 터미널 작업을 맡기면 한 번에 맞을 때도 있고 같은 자리를 몇 번씩 되돌아갈 때도 있습니다. 어느 쪽이 얼마나 되는지는 느낌으로만 알고 있었는데 기록이 남아 있어서 세어 봤습니다. 8월 1일부터 9월 23일까지 쌓인 작업 세션 205개에서 AI가 실행한 셸 명령 72,912건을 꺼내 결과를 하나씩 맞춰 봤습니다. 오류 문구가 남은 것은 1,971건, 2.7%였습니다. 100번 시키면 97번은…
AI 초안에서 목록은 표 다음으로 손이 많이 가는 자리입니다. 항목이 문장인지 낱말인지, 마침표를 찍는지 안 찍는지가 글마다 다르고 한 목록 안에서도 다릅니다. 두 사이트의 글 89편에서 목록 127개, 항목 547개를 뽑아 셌습니다. 항목 547개 중 275개(50.3%)는 마침표 없이 명사로 끝났고, 198개(36.2%)는 ‘습니다’로 끝났으며, 28개는 ‘~다.’로 끝났습니다. 끝맺음이 섞인 목록은 127개 중 11개였습니다. 목록이 소제목 바로…
글을 읽다가 문장이 자꾸 같은 말로 시작하면 지루해집니다. 그 느낌이 실제 수치로 어느 정도인지 두 사이트의 글 87편에서 본문 문장 6,821개를 끊고 첫 어절만 모아 세었습니다. 첫 어절의 종류는 2,471가지로 다양했지만, 위쪽은 한 방향으로 쏠려 있었습니다. 가장 많은 첫 어절은 ‘이’로 301번이고, 그다음이 ‘다만’ 141번, ‘따라서’ 100번입니다. 접속 부사로 시작한 문장은 912개(13.4%)였고, 87편 중 접속…
따옴표는 남의 말을 옮길 때 씁니다. 그런데 AI 초안에서 따옴표를 열어 보면 안에 든 것이 남의 말이 아닌 경우가 많습니다. 두 사이트에 올린 글 85편(39만 943자)에서 따옴표 442쌍과 괄호 236쌍을 전부 꺼내 안에 든 것을 분류했습니다. 따옴표 안이 낱말인 것이 250개, 문장인 것이 192개였고, 문장 가운데 누군가의 발언으로 볼 만한 것은 서술문 93개 중 25개뿐이었습니다….
AI 초안으로 시작한 글 83편에는 코드 블록이 124개 들어 있습니다. 명령어, 설정 파일, PHP 필터, 로그 출력이 섞여 있고, 글을 다듬을 때 문장은 여러 번 고쳤지만 코드 블록은 “AI가 준 대로” 두는 경우가 대부분이었습니다. 이번에 그 124개를 전부 꺼내 줄 수, 글자 수, 종류, 앞뒤 문맥, 그리고 실제 화면에서 몇 줄로 보이는지를 쟀습니다. 결과는 세…
AI에게 초안을 받아 두 블로그에 올린 글이 81편이 됐습니다. 글마다 다른 글로 가는 링크를 손으로 두 개씩 붙여 왔는데, 이게 전체로 보면 어떤 모양인지는 한 번도 확인하지 않았습니다. 오늘 81편의 본문에서 링크를 전부 뽑아 어디에서 어디로 가는지 세어 봤습니다. 링크는 130개였고, 그중 절반 가까운 글이 아무 데서도 링크를 받지 못한 상태였습니다. 그리고 넷은 이미 사라진…
AI에게 초안을 받아 워드프레스에 올릴 때, 저는 완성된 HTML을 그대로 본문에 넣습니다. 화면에는 제목도 표도 코드도 제대로 나옵니다. 그래서 지금까지 문제가 있다고 생각해 본 적이 없었습니다. 오늘 두 블로그에 발행된 글 79편의 본문을 데이터베이스에서 꺼내 워드프레스가 그것을 어떻게 이해하는지 세어 봤습니다. 79편 중 69편은 본문 전체가 블록 하나로 잡혔습니다. 평균 4,830자짜리 글 한 편이 편집기에서는…
AI가 쓴 글은 숫자를 잘 다룰까요. 표기가 틀리지 않는지, 글마다 고르게 들어가는지는 눈으로 훑어서는 알기 어렵습니다. 두 사이트에 올린 글 78편에서 표와 코드와 그림 설명을 걷어내고 본문만 남긴 다음, 거기 있는 숫자를 전부 세었습니다. 338,946자에 아라비아 숫자가 1,770개, 191자에 하나꼴이었습니다. 결과는 두 갈래로 갈렸습니다. 표기 규칙은 한 건도 틀리지 않았습니다. 천 단위 쉼표를 붙여야 할…
AI에게 글을 시키면 표를 잘 넣어 줍니다. 문단만 이어지는 글보다 정리돼 보이고, 초안을 받아 든 사람도 표가 있으면 손볼 것이 적다고 느낍니다. 그런데 그렇게 받은 표가 실제로 어떤 모양인지는 따로 세어 보지 않으면 알기 어렵습니다. 이 글을 쓰기 직전까지 두 사이트에 발행한 글 75편, 거기에 들어 있는 표 129개를 열어 열과 행, 셀 하나하나의 글자…
AI가 쓴 글에서 가장 먼저 눈에 들어오는 것은 본문이 아니라 소제목입니다. 목차처럼 훑어 내려가다 보면 어딘가 비슷한 느낌이 드는데, 그 느낌이 무엇인지 말로 하기는 어렵습니다. 그래서 세어 봤습니다. 운영 중인 두 블로그의 글 74편에서 소제목 651개를 뽑아 길이, 어절 수, 끝나는 말, 반복되는 문구를 전부 집계했습니다. 끝말 하나만 봐도 답이 나왔습니다. 651개 중 43개가 ‘이유’로…
AI가 만든 초안을 그대로 올린 글과 사람이 다듬은 글은 어디서 갈릴까요. 문장이나 어미는 이미 세어 봤으니 이번에는 굵은 글씨를 세었습니다. 두 블로그의 공개 글 72편, 본문 34만 9천 자에서 <strong> 태그를 전부 뽑았습니다. 결과는 둘로 갈렸습니다. 45편은 굵은 글씨가 한 글자도 없었고, 나머지 27편에는 평균 11.6개가 있었습니다. 중간이 없습니다. 0개 아니면 10개 이상 글당 굵은…