Why Do Solutions Create New Problems?

The Old Cycle of Laws and Institutions, and How AI Is Changing the Speed of the Game

Society responds to problems by creating laws and improving institutions. When children are not adequately protected, child protection is strengthened; when patients suffer harm, medical accountability is increased; when too much power is concentrated in one place, authority is divided and systems of checks and balances are created. When accidents repeat, more safety regulations are added; when wrongdoing is difficult to detect, reporting incentives are introduced; and when individuals cannot bear certain risks alone, insurance is created as a shared safety net. Most institutions begin for understandable reasons and generally with good intentions.

Yet something strange happens over time. A mechanism created to solve one problem produces another, and the mechanism created to address that new problem creates yet another side effect. This is not simply because laws are poorly designed. Once laws and institutions enter the real world, human beings do not merely obey them. People interpret rules, adapt to them, sometimes avoid them, and sometimes actively use them to their own advantage.

This cycle has two phases. One is the old cycle that human societies have repeated for centuries, and the other is a new phase in which AI is beginning to change the speed and scale of that cycle itself.

Part One. The Old Cycle

Healthcare illustrates this problem particularly well. In fields such as pediatric emergency medicine and severe trauma care, which are socially essential but do not always have large numbers of patients, simply maintaining specialists around the clock is expensive. Yet these capabilities cannot be eliminated merely because they are not constantly used. A fire station is not unnecessary simply because there was no fire today, and pediatric emergency specialists are not unnecessary simply because no critically ill child arrived today. Their very presence and readiness are part of the social safety net.

From the perspective of individual medical professionals, however, the calculation can look very different. If workload, legal responsibility, and the risk of litigation are high while compensation is relatively low, avoiding high-risk specialties may be a perfectly rational personal decision. Society may appeal to doctors’ sense of duty and sacrifice, but if essential medical services can survive only because someone is continuously willing to absorb losses and risks, then the system is not truly stable.

There is another paradox created by increasingly sophisticated medical systems. In a specialized healthcare system, no single hospital is expected to provide every form of treatment. Each institution focuses on what it can do best and transfers patients when more appropriate care is available elsewhere. In most cases, this makes medicine safer. But when a patient deteriorates rapidly or requires several specialties at once, repeated transfers between institutions may occur. Every organization may be performing its assigned role correctly, yet responsibility for the patient as a whole can become blurred. Everyone may have followed procedure, while the overall outcome still fails. As systems become more sophisticated, roles become clearer, but the number of boundaries between responsibilities also increases.

Nor can every problem be solved simply by expanding the public sector. Public systems have the great advantage of maintaining socially necessary capacities even when they are not profitable. But if competition and the pressure of failure or replacement become too weak, other problems can emerge: job preservation, organizational self-interest, avoidance of responsibility, bureaucracy, and professional cartels. Qualifications and entry barriers originally created to protect professional standards can eventually become tools for protecting the interests of existing members.

The opposite solution is not automatically better. Turning more of healthcare over to market forces does not make the problems disappear. Markets are powerful mechanisms for moving capital and labor, but they respond more strongly to purchasing power than to social necessity. Profitable medical services may attract investment and talented professionals, while maintaining specialists around the clock in sparsely populated areas for rare but critical emergencies may remain financially unattractive. Public systems and markets therefore tend to fail in different ways. Left unchecked, markets tend to move toward money, while bureaucracies tend to move toward preserving the organization. Neither automatically moves toward the public good.

Money and power also do not disappear simply because a system is publicly regulated. Even when people cannot officially pay to move ahead in a queue, other resources can change their position: information, personal networks, the ability to travel, and access to specialists. The real power of money is not merely that it buys expensive things. Money buys options. When one hospital cannot provide treatment, a wealthy person can try another. If care is unavailable locally, they can travel to a major city. If domestic options fail, overseas treatment may become possible. They can simultaneously hire better lawyers, tax experts, doctors, and other specialists. Equality before the law and equality in the ability to use the law are therefore not the same thing.

A similar pattern appears in large tax arrears and complex legal disputes. People with relatively few assets often have simple financial structures, making direct legal and administrative enforcement easier. Wealthier individuals and organizations, by contrast, may have corporations, contracts, expert advisers, and litigation strategies that create far more options. Not all tax planning or legal defense is improper, but as the law becomes more complex, the ability to understand and strategically use that complexity becomes a form of capital in itself. An ordinary person may read a rule and ask what they are required to follow, while a well-resourced actor may instead ask how far they can legally go, and a more aggressive actor may go one step further and ask how far they can go before they are actually punished.

Insurance reveals the same paradox. Insurance is one of society’s great mechanisms for sharing risks that individuals could not otherwise bear alone. Yet the moment insurance exists, it also creates incentives for fraud, false claims, excessive treatment, and strategic attempts to maximize payouts. When insurers strengthen screening to prevent abuse, legitimate claimants may in turn face suspicion and more complicated compensation procedures. Reward-based reporting systems work in a similar way. Their original purpose may be to help authorities discover violations they could not detect on their own, but once money is attached to reporting, some people may stop being citizens who happen to discover wrongdoing and become professional hunters of violations that generate rewards.

There is a common principle behind these examples. People do not necessarily optimize for the purpose of a system. They may optimize for their own benefit within the rules and incentives that the system creates. The purpose of insurance is to distribute risk, but someone may optimize insurance payouts. The purpose of reporting systems is to reduce violations, but someone may optimize rewards. The purpose of law is to maintain social order, but someone may calculate the maximum profit available just inside the legal boundary.

The conflict between teachers’ authority and student protection can be viewed through the same lens. Systems that protect students and children are clearly necessary, but if the cost and risk of distinguishing legitimate discipline from improper conduct fall too heavily on individual teachers, teachers may rationally choose self-protection over active intervention. Even if extreme parents represent only a tiny minority, they can still change the behavior of the entire system because teachers cannot know in advance which parent will become that one extreme case. As a result, the behavior of one highly aggressive person can influence how everyone else behaves more than the presence of ninety-nine reasonable people.

Juvenile justice creates a similar tension. Rules that treat immature children differently from adults are based on an important principle, but when some young offenders understand those legal boundaries and strategically exploit them, the values of rehabilitation and protection can come into conflict with the need to protect victims. The problem is not protection itself. The question is whether the system can handle the new behaviors that its protections create.

The division of power between institutions such as prosecutors and police also has no perfect answer. Concentrating authority in one institution can make decision-making and responsibility clearer, but it increases the risk of abuse, concealment, and unchecked power. Dividing authority can create mutual oversight, but poorly designed divisions can lead institutions to shift responsibility onto one another. The distribution of power must not become the distribution of responsibility. Power may need to be divided for the sake of oversight, but it must still be clear who is ultimately responsible.

The performance of law therefore depends on more than the text of the law itself. A flawed or contradictory law may still function reasonably well when administrators understand its purpose and exercise sensible judgment. Conversely, a well-designed law may produce poor outcomes when those implementing it prioritize self-preservation, career security, or personal interest. But this creates another trap. Good people can keep bad systems functioning through personal sacrifice. Statements such as “We could always get the patient treated when that professor was there,” “Teachers could act with confidence when that principal was in charge,” or “That civil servant always found a way to solve the problem” sound like praise, but they may also mean that the weaknesses of the institution were being hidden by the ability and sacrifice of particular individuals.

Goodwill can improve the performance of a system, but it should not be the fuel required for normal operation. A good system should work even when ordinary people are not heroes. Yet complete distrust of human judgment creates its own problems. If every uncertainty produces another rule, organizations may eventually be left with nothing but the phrase, “The regulations do not allow it.” Too much discretion can lead to abuse, while too much personal liability can make people unwilling to decide anything at all.

Human beings are therefore both the greatest bottleneck in systems and their greatest source of possibility. Humans can understand situations that rules never anticipated and compensate for flawed institutions in the real world, but the same discretion can be used for corruption, self-interest, and avoidance of responsibility. This is the cycle human societies have repeated for a very long time. A problem appears, a rule is created, and people adapt to that rule. New problems emerge from that adaptation, so another rule is created, and people adapt again.

The cycle is ancient, but until now it has usually been relatively slow. Reading laws took time, discovering loopholes took time, and designing new business structures, organizing people, and putting strategies into practice all depended on human time. That speed is now beginning to change.

Part Two. The Game Changes

AI is unlikely to end this old cycle. It is more likely to change the entire playing field, and a changing playing field does not necessarily mean a better one.

AI can detect patterns of tax evasion and insurance fraud, help allocate medical resources, analyze millions of administrative decisions, and discover contradictions buried in vast collections of laws and court decisions. But the same capabilities can be used by the other side. A wealthy corporation or individual could use AI to analyze enormous bodies of legislation, precedents, and administrative interpretations to identify strategies that maximize profits while minimizing legal risk. People who seek to exploit loopholes in the law will not disappear. They will simply gain much more powerful tools.

An AI could be asked to find every structure that produces effectively the same result without directly violating a regulation. Law and regulation may then begin to resemble cybersecurity. A rule is created, AI finds a loophole, the loophole is closed, and another AI discovers a new route around it. The problem is that laws cannot be patched ten times a day like software. Law requires stability and predictability.

In cybersecurity, this future is even easier to imagine. Offensive AI can search for vulnerabilities at enormous speed, while defensive AI can detect and respond to those attacks in real time. Once both offense and defense operate beyond human speed, cybersecurity may no longer primarily be a battle between human hackers and human defenders. It may become a space where AI systems continuously attack and defend against one another.

In that world, the meaning of security itself expands. Security may no longer simply mean protecting computers. Society may need to verify whether someone is actually human, whether an entity is an AI, who authorized that AI, whether a document or video is authentic, whether a command has been altered, and what actions an AI is actually permitted to perform. Security increasingly becomes an industry that produces trust.

If biometric identity, personal AI systems, and eventually direct brain-computer interfaces become widely used, the problem becomes even deeper. Passwords can be changed after a leak, but fingerprints, irises, faces, and genetic information cannot easily be replaced. If neural signals become part of identity and authentication systems, the most private parts of the human body may themselves become security infrastructure.

Stronger authentication will also produce stronger attackers. The most advanced offensive capabilities are unlikely to remain confined to ordinary criminals. Military organizations, intelligence agencies, and states may invest enormous resources in them because the ability to disrupt another country’s power grid, financial system, communications network, or government infrastructure can itself become a form of strategic military power. Another paradox then appears. Powerful surveillance and identity technologies built to protect citizens can also be used to control them. The technologies that strengthen security and the technologies that strengthen control may grow from the same roots.

AI may also remove one of the oldest natural limits on individual power. In the past, large-scale action required people. A growing company needed employees, political movements needed organizers and activists, and media organizations required reporters and editors. The need to persuade, hire, coordinate, and manage other human beings acted as a natural bottleneck on the expansion of power.

But if one individual can operate thousands or tens of thousands of AI agents together with automated financial, production, and information systems, the boundary between an individual and an organization begins to blur. One person may eventually be able to perform work that once required thousands. This raises a new question for one of democracy’s oldest principles: one person, one vote.

The principle itself may become more important, not less. Giving people more votes because they possess more money or more powerful AI would destroy political equality. The real problem lies elsewhere. If one person still has one vote on election day but can exercise the informational power of an organization of thousands during every other day of the year, can one person, one vote alone still describe the balance of power?

Democracy developed in a world where there were natural limits to the influence a single person could exercise. Even powerful individuals needed to persuade and organize other people. If AI removes the human bottleneck, one person may still possess only one formal political vote while exercising the practical influence of a massive organization.

As AI becomes harder to distinguish from humans, an even more fundamental concept may begin to weaken: the idea of the public. Ten million views, one million comments, or half a million signatures may no longer represent that many independent human beings. A single person could potentially operate a massive AI system that generates enormous amounts of apparent activity.

Traditional propaganda tried to change what the public thought. In the AI era, it may become possible to go one step further and create the appearance that a public exists at all. The number of actual people and the amount of expressed opinion may no longer correspond.

Removing fake AI accounts will not solve the deeper problem. The opinions of real humans themselves may increasingly be formed inside information environments shaped by a small number of powerful AI systems. The people are real and their votes are real, but if millions of people receive their news, search results, recommendations, and personalized advice through a small number of AI systems, it becomes harder to regard every choice as completely independent.

Three things may begin to separate from one another: the number of actual people, the volume of expressed opinion, and the sources of influence that shaped those opinions. Democracy then faces a new question: what exactly do we mean when we say, “The public wants this”?

Requiring every human being to register biometric information and tying all online behavior to a single identity would create another danger. In trying to distinguish humans from AI, society could accidentally build the perfect infrastructure for surveillance. A system created to prove that someone is human could become the most powerful system ever created to control humans.

The goal of the future may therefore not be to perfectly detect every AI. It may instead be to build institutions that remain resilient even when we cannot always tell whether the entity on the other side is human or artificial. One person should not be able to impersonate millions, one source of power should not be able to disguise itself as the voice of an entire population, and when AI acts, there should be a traceable chain showing who granted it authority and who is ultimately responsible.

One of the most dangerous changes AI introduces is speed. False information can spread to tens of millions of people within minutes, once personal data is copied it may be impossible to retrieve, a bad financial decision can move enormous amounts of capital in seconds, and mistakes in medicine, military systems, or critical infrastructure may not be reversible simply because the error is discovered later.

The speed of destruction and the speed of recovery are not symmetrical. Harm can spread instantly, but damage already done cannot always be undone.

For that reason, the AI era may paradoxically require deliberate slowness. Just because an AI can reach a conclusion in 0.01 seconds does not mean it should be allowed to execute a decision affecting millions of people in the same 0.01 seconds. In areas involving life, fundamental rights, large financial assets, and critical infrastructure, society may need artificial friction such as independent verification, staged execution, divided authority, and approval procedures.

The speed of intelligence may not be allowed to become the speed of power.

We have long thought of human slowness as a bottleneck, but some of that slowness may have been a hidden safety mechanism. Because people were slow, someone had time to notice a problem. Because organizations were slow, there was time to object. Because there was a gap between decision and execution, there was sometimes time to stop. AI removes that friction. In production, this may be revolutionary, but in destruction it can remove the same friction.

Law therefore finds itself in an increasingly difficult position. Law has always been slower than technology, and it will probably remain so. In some respects, law must be slow because it requires social agreement, predictability, and protection of fundamental rights.

Technology, however, is beginning to accelerate itself. AI speeds up software development, scientific research, materials discovery, medicine, robotics, and cybersecurity. One technological breakthrough can accelerate the arrival of the next. And engineering will not be the only field that accelerates. If one person can use AI to perform the work of thousands, the meaning of labor, employment, taxation, and welfare changes. If humans and AI become difficult to distinguish, the meaning of identity and democracy changes. If brains become directly connected to AI, philosophical questions about autonomy and personal identity immediately become legal and political questions. The boundary between the humanities and engineering becomes increasingly difficult to maintain, and a single technological advance can simultaneously disrupt economics, law, ethics, politics, and philosophy.

For this reason, predicting the future perfectly and designing the correct answer in advance will become increasingly difficult. We may not know how quickly a change will arrive or when different technologies will combine to create something unexpected. Ultimately, we will have no choice but to solve the problems directly in front of us.

But solving immediate problems is not the same as looking only at immediate problems. If an accident occurs and we respond only by increasing punishment, if crime rises and we respond only by increasing surveillance, if public institutions fail and we hand everything to markets, or if markets fail and we respond by giving the state complete control, simple one-directional solutions are likely to create new problems. Humans adapt to new rules, someone finds loopholes, and someone optimizes for personal benefit. The old cycle has already taught us that.

The future may therefore require something other than perfect laws or perfect AI. It may require systems that accept the possibility of error without allowing errors to become catastrophic, systems that can detect and correct mistakes quickly, prevent one failure from spreading everywhere, prevent power from becoming permanently concentrated, and preserve enough friction around irreversible decisions.

What can be reversed can be tested quickly and corrected quickly. What cannot be reversed should be decided slowly.

Most importantly, society must work without requiring ordinary people to become heroes. Goodwill should be encouraged, but the system should not depend on goodwill. Sacrifice should be respected, but sacrifice should not become the fuel on which institutions run. Capital should be used as a powerful tool, but capital should not be allowed to decide society’s ultimate purpose. Public institutions should protect the common good, but preserving the institution itself should not become the goal. AI should be used actively where useful, but its capabilities should not automatically entitle it to an equal amount of authority.

Perhaps civilization did not progress by discovering one perfect answer after another. Perhaps it progressed because when yesterday’s solution became today’s problem, we found ways to change it again. When a problem is solved, the environment changes, humans adapt to that new environment, that adaptation creates another problem, and another solution follows.

AI will not end this cycle. What changes is its speed and scale. Problems may be created faster, loopholes may be discovered faster, and problems may also be detected and solved faster. But as the speed at which harm spreads increases, one principle becomes even more important: the speed at which we create wounds and the speed at which we heal them are not the same.

The most important ability in the future may therefore not be the ability to predict the future correctly. It may be the ability to recognize quickly when we are wrong, to change direction, and to correct our solutions without creating irreversible damage while we do so.

A society without problems will probably never exist. A good society may instead be one that can face new problems, correct itself, and continue forward without destroying itself in the process.

quizcon.net

해답은 왜 다시 문제가 되는가

법과 제도의 오래된 순환, 그리고 AI가 바꾸는 문제의 속도

사회는 문제를 발견하면 법을 만들고 제도를 보완한다. 아이가 보호받지 못하면 아동 보호를 강화하고, 환자가 피해를 입으면 의료인의 책임을 강화하며, 권력이 한곳에 집중되면 권한을 나누고 견제기관을 만든다. 사고가 반복되면 안전규정을 추가하고, 범죄를 발견하기 어렵다면 신고자에게 포상금을 주며, 개인이 감당하기 어려운 위험에는 보험이라는 공동의 안전망을 만든다. 대부분의 제도는 나름의 이유가 있고 대체로 좋은 목적에서 시작한다.

그런데 시간이 지나면 이상한 일이 벌어진다. 문제를 해결하기 위해 만든 장치가 새로운 문제를 만들고, 그 문제를 해결하기 위해 다시 만든 장치가 또 다른 부작용을 낳는다. 이것은 단순히 법을 잘못 만들었기 때문만은 아니다. 법과 제도가 현실에 들어오는 순간 인간은 그것을 따르기만 하는 존재가 아니기 때문이다. 사람은 규칙을 해석하고 적응하며 때로는 회피하고, 자신에게 유리한 방향으로 적극적으로 이용한다.

이 순환에는 두 개의 국면이 있다. 하나는 인간 사회가 오래전부터 반복해온 순환이고, 다른 하나는 AI의 등장으로 그 순환의 속도와 규모 자체가 달라지는 새로운 국면이다.

1부. 오래된 순환

의료는 이 문제를 극적으로 보여준다. 소아응급이나 중증외상처럼 사회적으로 반드시 필요하지만 항상 많은 환자가 있는 것은 아닌 분야에서는 전문인력을 24시간 유지하는 것 자체가 비용이다. 그렇다고 환자가 적다는 이유로 없앨 수도 없다. 오늘 불이 나지 않았다고 소방서가 필요 없는 것이 아닌 것처럼, 오늘 중증 소아환자가 오지 않았다고 소아응급 전문인력이 불필요한 것은 아니다. 존재하고 대기하는 것 자체가 사회적 안전망이다.

그러나 의료진 개인의 입장에서 보면 계산은 달라질 수 있다. 높은 업무강도와 책임 위험, 소송 가능성에 비해 보상이 낮다면 위험한 분야를 피하는 것이 개인적으로는 합리적인 선택이 된다. 사회는 의사에게 사명감과 희생을 요구할 수 있지만, 어떤 필수의료가 계속 유지되기 위해 누군가가 손해와 위험을 감수해야만 한다면 그것은 안정적인 시스템이라고 보기 어렵다.

여기에 의료체계가 정교해지면서 생기는 또 다른 역설도 있다. 전문화된 시스템에서는 한 병원이 모든 치료를 담당하지 않는다. 각 병원은 자신이 잘할 수 있는 영역을 담당하고 필요한 경우 더 적합한 곳으로 환자를 전원한다. 대부분의 경우 이것이 더 안전하다. 그러나 상태가 빠르게 변하거나 여러 전문영역이 동시에 필요한 환자가 나타나면 한 병원에서 다른 병원으로 이동하는 과정이 반복될 수 있다. 각 기관은 자신의 역할을 충실히 수행했는데도 환자 전체를 끝까지 책임지는 주체가 흐려질 수 있다. 모두가 절차를 따랐지만 전체 결과는 실패하는 것이다. 제도가 정교해질수록 역할은 명확해지지만 동시에 책임의 경계도 많아진다.

그렇다고 모든 것을 공공성으로 해결할 수도 없다. 공공 시스템은 돈이 되지 않아도 반드시 필요한 능력을 유지할 수 있다는 강점이 있다. 그러나 경쟁과 퇴출 압력이 지나치게 약해지면 자리 보전, 조직 이기주의, 책임 회피, 관료주의와 카르텔이라는 다른 문제가 나타날 수 있다. 전문성을 보호하기 위해 만든 자격과 진입장벽이 어느 순간 기존 구성원의 이익을 보호하는 장치로 바뀔 수도 있다.

반대로 의료를 시장에 더 맡긴다고 문제가 자연스럽게 해결되는 것도 아니다. 시장은 돈과 인력을 움직이는 강력한 장치지만 사회적 필요보다 지불 가능한 수요에 민감하다. 수익성이 높은 의료에는 자본과 인재가 몰릴 수 있지만, 인구가 적은 지역에서 언제 발생할지 모르는 중증환자를 위해 전문인력을 항상 대기시키는 것은 사업적으로 비효율적일 수 있다. 결국 공공과 시장은 서로 다른 실패 방식을 가진다. 시장을 방치하면 돈을 위해 움직이기 쉽고, 관료제를 방치하면 조직을 위해 움직이기 쉽다. 어느 쪽도 자동으로 공익을 향하지 않는다.

더구나 공공적인 제도 안에서도 돈과 권력은 사라지지 않는다. 공식적으로 돈을 내고 대기표를 살 수 없더라도 정보와 인맥, 지역 이동능력, 전문가 접근성이라는 다른 형태의 자원이 순서를 바꿀 수 있다. 돈의 중요한 힘은 단순히 비싼 것을 살 수 있다는 데 있지 않다. 돈은 선택지를 산다. 한 병원이 안 되면 다른 병원을 찾을 수 있고, 지방에서 어렵다면 서울로 갈 수 있으며, 국내에서 해결되지 않으면 해외까지 선택지에 넣을 수 있다. 좋은 변호사와 세무사, 의사와 전문가를 동시에 동원할 수도 있다. 그래서 법 앞의 평등과 법을 활용할 수 있는 능력의 평등은 같은 것이 아니다.

고액 세금 체납이나 복잡한 법률분쟁에서도 비슷한 현상이 나타난다. 가진 것이 적은 사람은 재산관계가 비교적 단순해 법과 행정이 직접적으로 작동하기 쉽다. 반면 자원이 많은 사람은 법인과 계약, 전문가와 소송절차를 활용해 훨씬 많은 선택지를 만들 수 있다. 모든 절세와 법률적 방어가 부당한 것은 아니지만 법이 복잡해질수록 그것을 이해하고 이용하는 능력 자체가 자본이 된다. 평범한 사람은 법을 보며 무엇을 지켜야 하는지를 묻지만, 막대한 자원을 가진 사람은 어디까지가 합법인지, 더 공격적으로는 어디까지 가야 실제로 제재받는지를 계산할 수 있다.

보험도 같은 역설을 보여준다. 보험은 개인이 감당하기 어려운 위험을 공동으로 분산시키는 훌륭한 제도다. 하지만 보험이 생기는 순간 보험사기와 허위청구, 과잉진료와 편법적 수익추구라는 새로운 인센티브도 만들어진다. 이를 막기 위해 심사를 강화하면 이번에는 정상적인 피해자가 의심받고 보상절차가 복잡해질 수 있다. 신고 포상제도도 마찬가지다. 원래 목적은 행정기관이 발견하지 못하는 위법행위를 시민의 도움으로 찾아내는 것이지만, 돈이라는 인센티브가 붙는 순간 누군가는 위반을 우연히 발견하는 사람이 아니라 포상 가능한 위반을 전문적으로 찾아다니는 사람이 될 수 있다.

여기에는 하나의 공통점이 있다. 사람은 반드시 제도의 목적을 최적화하지 않는다. 자신에게 주어진 규칙과 보상구조 안에서 자신의 이익을 최적화하기도 한다. 보험의 목적은 위험을 나누는 것이지만 누군가는 보험금을 최대화한다. 신고제도의 목적은 위법행위를 줄이는 것이지만 누군가는 포상금을 최대화한다. 법의 목적은 사회질서를 유지하는 것이지만 누군가는 법의 경계 바로 안쪽에서 얻을 수 있는 최대이익을 계산한다.

교권과 학생 보호의 문제도 같은 구조에서 볼 수 있다. 학생과 아동의 권리를 보호하는 장치는 반드시 필요하다. 그러나 정당한 생활지도와 부당한 행위를 구분하는 책임과 비용이 지나치게 교사 개인에게 전가되면 교사는 적극적인 개입보다 자기보호를 선택할 수 있다. 극성 민원인이 전체 학부모의 극히 일부라고 해도 충분히 행동을 바꿀 수 있다. 누가 그 한 사람인지 미리 알 수 없기 때문이다. 결국 99명의 정상적인 사람보다 한 명의 극단적인 행위자가 시스템 참여자의 행동 기준을 결정할 수도 있다.

촉법소년 제도 역시 미성숙한 어린이를 성인과 동일하게 처벌하지 않겠다는 중요한 원칙에서 출발한다. 그러나 제도의 경계를 알고 전략적으로 이용하는 일부 사례가 나타나면 교정과 보호라는 가치와 피해자 보호라는 가치가 충돌한다. 문제는 보호 자체가 아니라 보호장치가 만들어낸 새로운 행동까지 제도가 감당할 수 있느냐에 있다.

검찰과 경찰처럼 권력을 나누는 문제에서도 완벽한 답은 없다. 한 기관에 강한 권한을 집중시키면 결정과 책임은 명확해질 수 있지만 독주와 은폐의 위험이 커진다. 반대로 권력을 나누면 상호 견제가 가능하지만 잘못 설계하면 서로 책임을 미루는 현상이 나타날 수 있다. 권력의 분산이 책임의 분산으로 이어져서는 안 된다. 견제를 위해 권력은 나눌 수 있지만 최종적으로 누가 책임지는지는 명확해야 한다.

결국 법의 성과는 법조문만으로 결정되지 않는다. 결함과 모순이 있는 법도 시행자가 취지를 이해하고 합리적인 재량을 행사하면 상당 부분 보완될 수 있다. 반대로 잘 만든 법도 수행자가 자리 보전과 자기 이익만 생각하면 엉뚱한 결과를 낼 수 있다. 하지만 여기에도 함정이 있다. 좋은 사람의 선의와 희생이 나쁜 시스템을 계속 떠받칠 수 있다는 것이다. 그 교수님이 있을 때는 어떻게든 환자를 받아줬고, 그 교장선생님 때는 교사들이 소신껏 일할 수 있었고, 그 공무원에게 가면 어떻게든 해결됐다는 말은 미담처럼 들리지만 다른 각도에서는 특정인의 능력과 희생이 제도의 결함을 가리고 있었다는 뜻일 수도 있다.

선의는 시스템의 성능을 높일 수 있지만 정상 작동을 위한 필수 연료가 되어서는 안 된다. 평범한 사람이 영웅이 되지 않아도 돌아가는 것이 좋은 시스템이다. 그렇다고 모든 인간을 불신해서 규칙을 끝없이 추가하면 다른 문제가 생긴다. 어느 순간 조직에는 규정상 안 된다는 말만 남을 수 있다. 재량만 주면 권한 남용이 생기고, 책임만 강화하면 아무도 판단하려 하지 않는다.

인간은 그래서 시스템의 가장 큰 병목이면서 동시에 가장 큰 가능성이다. 규칙에 없는 상황을 이해하고 잘못된 제도를 현실에서 보완하는 것도 인간이고, 같은 재량을 이용해 비리를 저지르고 책임을 회피하는 것도 인간이다. 여기까지가 인간 사회가 오랫동안 반복해온 순환이다. 문제가 생기면 규칙을 만들고, 누군가는 그 규칙을 읽고 적응한다. 그 적응에서 새로운 문제가 생기면 다시 규칙을 만들고, 누군가는 다시 그 규칙을 읽는다.

이 순환은 오래전부터 존재했다. 다만 지금까지는 비교적 느렸다. 법을 읽는 데도 시간이 걸렸고 허점을 발견하는 데도 시간이 걸렸으며, 새로운 사업구조를 만들고 사람을 조직하고 실제로 움직이는 데도 인간의 시간이 필요했기 때문이다. 그런데 이제 그 속도 자체가 바뀌고 있다.

2부. 판도가 바뀐다

AI는 이 오래된 문제를 끝내기보다 판도를 바꿀 가능성이 크다. 그리고 판도가 바뀐다는 것은 좋아진다는 뜻과 전혀 같지 않다.

AI는 세금 탈루와 보험사기 패턴을 찾아내고, 의료자원을 효율적으로 배치하며, 수백만 건의 행정결정을 분석하고, 방대한 법률과 판례 속에서 모순을 발견할 수 있다. 그러나 똑같은 능력을 반대편도 사용할 수 있다. 막대한 자본을 가진 기업이나 개인이 수많은 법령과 판례, 행정해석을 AI에게 분석시켜 가장 수익성이 높으면서 법적 위험은 가장 낮은 구조를 찾는 것도 가능해진다. 법의 맹점을 찾아 큰 이익을 얻으려는 사람이 사라지는 것이 아니라 오히려 훨씬 강력한 도구를 갖게 되는 것이다.

AI에게 이 규제를 직접 위반하지 않으면서 사실상 같은 효과를 얻을 수 있는 구조를 모두 찾으라고 요구하는 것도 가능하다. 그러면 법과 규제는 점점 사이버보안과 비슷한 경쟁이 될 수 있다. 규칙을 만들면 AI가 허점을 찾고, 다시 막으면 다른 AI가 새로운 우회로를 찾는다. 문제는 법은 소프트웨어처럼 하루에 열 번 패치할 수 없다는 점이다. 법에는 안정성과 예측 가능성이 필요하기 때문이다.

사이버보안에서는 이 미래가 더 직접적으로 나타난다. 공격 AI는 엄청난 속도로 취약점을 탐색하고, 방어 AI는 이를 실시간으로 찾아내고 대응할 수 있다. 공격과 방어가 모두 인간의 속도를 넘어서는 순간 보안은 인간 해커와 인간 보안전문가의 싸움이 아니라 AI와 AI가 상시적으로 충돌하는 공간이 될 수도 있다.

그 과정에서 보안이라는 산업의 의미도 커질 가능성이 높다. 앞으로 보안은 단순히 컴퓨터를 지키는 산업이 아닐 수 있다. 누가 실제 인간인지, 어떤 존재가 AI인지, 이 AI는 누구에게 권한을 위임받았는지, 어떤 문서와 영상이 진짜인지, 어떤 명령이 변조됐는지, AI가 어디까지 행동할 권한을 가지고 있는지를 증명해야 한다. 즉 보안은 점점 신뢰를 생산하는 산업이 된다.

생체정보와 개인 AI가 결합하고 언젠가 뇌와 직접 연결되는 인터페이스까지 발전한다면 문제는 더 깊어진다. 비밀번호는 유출되면 바꿀 수 있지만 지문과 홍채, 얼굴과 유전정보는 쉽게 바꿀 수 없다. 뇌와 연결된 정보가 인증과 신원체계에 사용되기 시작하면 인간의 가장 사적인 영역 자체가 보안 인프라가 될 수도 있다.

더 강한 인증이 등장하면 더 강한 공격자도 등장한다. 특히 최고 수준의 공격 능력은 범죄자만의 영역에 머물 가능성이 낮다. 군사와 정보기관, 국가 간 경쟁에서 막대한 자원이 투입될 수 있다. 상대국의 전력망과 금융망, 통신망과 행정시스템을 교란할 수 있는 능력은 전략적 군사력과 다르지 않기 때문이다. 여기서 또 다른 역설이 나타난다. 국민을 보호하기 위해 만든 강력한 감시와 인증 기술은 동시에 국민을 통제하는 데 사용할 수도 있다. 보안을 강화하는 힘과 통제를 강화하는 힘은 같은 기술적 뿌리를 가질 수 있다.

AI가 가져오는 더 근본적인 변화는 한 사람이 행사할 수 있는 힘의 자연적인 상한선이 크게 높아질 가능성이다. 과거에는 거대한 일을 하려면 사람이 필요했다. 회사를 키우려면 직원을 고용해야 했고, 정치운동을 하려면 활동가를 조직해야 했으며, 언론을 운영하려면 기자와 편집자가 필요했다. 사람을 설득하고 고용하고 관리해야 한다는 사실 자체가 권력 확대의 병목이었다.

하지만 한 사람이 수천, 수만 개의 AI 에이전트와 자동화된 자본, 생산, 정보 시스템을 움직일 수 있게 된다면 개인과 조직의 경계가 흐려진다. 과거 수천 명이 하던 일을 한 사람이 거대한 시스템을 통해 수행할 수도 있다. 이때 민주주의의 오래된 원칙인 1인 1표에도 새로운 질문이 생긴다.

1인 1표 자체는 오히려 더 중요해질 수 있다. 돈이나 AI 능력에 따라 표를 더 준다면 정치적 평등 자체가 무너지기 때문이다. 문제는 선거일에는 한 사람이 한 표인데, 나머지 시간에는 한 사람이 과거 수천 명이나 수만 명의 조직이 행사하던 영향력을 가질 수 있는 사회에서 1인 1표만으로 권력의 균형을 설명할 수 있는가 하는 점이다.

민주주의는 한 사람이 행사할 수 있는 힘에 어느 정도 자연적인 한계가 있던 시대에 발전했다. 강한 개인도 사람을 설득하고 조직해야 했다. AI가 그 인간이라는 병목을 제거한다면 정치적 권리는 여전히 한 표이면서 실제 영향력은 거대한 조직과 맞먹는 새로운 형태의 비대칭이 나타날 수 있다.

AI와 인간을 구별하기 어려워지면 더 근본적으로 대중이라는 개념 자체가 흔들릴 수 있다. 조회수 1천만, 댓글 100만 개, 청원 50만 건이 그만큼의 독립적인 인간을 의미하지 않을 수도 있다. 한 사람이 거대한 AI 시스템을 가동해 엄청난 수의 행동을 만들어낼 수 있기 때문이다.

과거의 여론조작은 대중의 생각을 바꾸려 했다. AI 시대에는 한 단계 더 나아가 대중이 존재한다는 신호 자체를 만들어낼 수 있다. 그러면 사람의 수와 표현된 의견의 양이 분리된다.

그러나 가짜 AI 계정을 제거한다고 문제가 끝나는 것도 아니다. 더 어려운 문제는 실제 인간의 의견 자체가 몇 개의 거대한 AI 시스템이 구성한 정보환경에서 형성될 수 있다는 점이다. 사람도 진짜고 표도 진짜다. 하지만 수백만 명이 보는 뉴스와 검색 결과, 추천영상과 개인화된 조언이 몇 개의 AI 시스템을 통해 형성되고 있다면 그 수백만 개의 선택을 완전히 독립적인 선택이라고 말하기 어려워질 수 있다.

결국 실제 사람의 수와 표현된 의견의 양, 그리고 그 의견을 형성한 영향력의 원천이 서로 분리될 수 있다. 그러면 민주주의는 새로운 질문을 만나게 된다. 대중이 원한다는 말에서 대중은 과연 무엇인가.

그렇다고 모든 인간에게 생체정보 등록을 요구하고 모든 온라인 행동을 하나의 신원과 연결하면 AI 문제를 해결하는 대신 완벽한 감시 인프라를 만들 수도 있다. 인간과 AI를 구별하기 위해 만든 시스템이 인간을 통제하는 가장 강력한 시스템이 되는 역설이다. 그래서 미래의 중요한 목표는 AI를 완벽하게 찾아내는 것이 아닐 수도 있다. 오히려 상대가 인간인지 AI인지 완벽하게 구별하지 못해도 쉽게 무너지지 않는 제도를 만들어야 할 가능성이 크다. 한 사람이 수백만 명으로 위장할 수 없고, 하나의 권력이 대중 전체인 것처럼 보이게 만들 수 없으며, AI가 행동했다면 누가 어떤 권한을 위임했는지 책임의 계보가 남아야 한다.

그리고 AI가 가져올 가장 위험한 변화 가운데 하나는 속도다. 잘못된 정보는 몇 분 만에 수천만 명에게 퍼질 수 있다. 개인정보는 한 번 복제되면 회수하기 어렵다. 잘못된 금융 판단은 몇 초 만에 막대한 자산을 움직일 수 있고, 의료와 군사, 핵심 인프라에서의 잘못된 결정은 나중에 오류를 발견한다고 원상복구되지 않을 수도 있다.

파괴의 속도와 복구의 속도는 대칭적이지 않다. 상처는 순식간에 퍼뜨릴 수 있지만 이미 난 상처는 되돌릴 수 없다.

그래서 AI 시대에는 역설적으로 의도적인 느림이 중요해질 수 있다. AI가 0.01초 만에 결론을 내릴 수 있다고 해서 0.01초 만에 수백만 명에게 영향을 미치는 결정을 실행하게 할 필요는 없다. 생명과 기본권, 대규모 금융자산과 핵심 인프라처럼 되돌리기 어려운 영역에서는 독립적인 검증과 단계적 실행, 권한 분리와 승인 절차라는 인공적인 마찰이 필요할 수 있다.

지능의 속도와 권력의 속도를 같게 만들어서는 안 될 수도 있다.

우리는 지금까지 인간의 느림을 병목이라고 생각했다. 하지만 그 느림 가운데 일부는 안전장치였을 가능성도 있다. 사람이 느렸기 때문에 누군가 문제를 발견할 시간이 있었고, 조직이 느렸기 때문에 반대할 기회가 있었으며, 결정과 집행 사이에 시간이 있었기 때문에 멈출 수도 있었다. AI는 그 마찰을 제거한다. 생산에서는 엄청난 혁신이지만 파괴에서도 같은 마찰을 제거할 수 있다.

여기서 법은 더욱 어려운 위치에 놓인다. 법은 과거에도 기술보다 느렸다. 앞으로도 그 속도 차이를 완전히 좁히기는 어려워 보인다. 법은 사회적 합의와 예측 가능성, 기본권 보호 때문에 어느 정도 느려야 하기 때문이다.

반면 기술은 이제 서로의 발전속도를 끌어올린다. AI가 코딩을 빠르게 하고, 과학연구를 돕고, 새로운 소재와 의약품, 로봇과 보안기술의 발전을 가속하면 하나의 기술혁신이 다음 기술혁신의 속도까지 높인다. 공학만 빨라지는 것도 아니다. 한 사람이 AI로 수천 명의 일을 수행한다면 노동과 고용, 조세와 복지의 의미가 달라진다. 인간과 AI를 구별하기 어려워지면 민주주의와 신원의 의미가 달라지고, 뇌와 AI가 직접 연결되기 시작하면 인간의 자율성과 정체성이라는 철학적 질문이 곧바로 법률과 정치의 문제가 된다. 인문과 공학을 나누는 경계 자체가 희미해지고, 기술 하나가 경제와 법, 윤리와 정치, 철학을 동시에 흔드는 시대가 되는 것이다.

그래서 미래를 완벽하게 예측해 미리 정답을 만들어두는 것은 점점 더 어려워질 것이다. 어떤 변화가 얼마나 빠르게 올지, 서로 다른 기술이 언제 결합해 예상하지 못한 변화를 만들지도 알기 어렵다. 결국 우리는 당면한 문제를 하나씩 풀어나갈 수밖에 없다.

하지만 당면한 문제를 해결한다는 것과 당면한 문제만 본다는 것은 전혀 다르다. 사고가 났다고 처벌만 강화하고, 범죄가 늘었다고 감시만 강화하며, 공공의 실패를 모두 시장에 넘기고 시장의 실패를 다시 국가가 모두 통제하는 식의 단선적인 해결은 또 다른 문제를 만들 가능성이 높다. 인간은 새로운 규칙에 적응하고, 누군가는 허점을 찾으며, 누군가는 자신의 이익을 최적화한다. 우리가 오랜 시간 경험한 순환이 이미 그것을 보여준다.

그래서 미래 사회에 필요한 것은 완벽한 법이나 완벽한 AI가 아닐지도 모른다. 틀릴 수 있다는 사실을 인정하면서도 치명적으로 망가지지 않는 구조, 잘못을 빨리 발견하고 수정할 수 있으며 하나의 실패가 전체로 번지지 않고, 권력이 한곳에 지나치게 집중되지 않으며, 되돌릴 수 없는 결정 앞에서는 충분한 마찰을 남겨두는 구조가 더 중요할 수 있다.

되돌릴 수 있는 것은 빠르게 실험하고 수정하면 된다. 되돌릴 수 없는 것은 느리게 결정해야 한다.

그리고 무엇보다 평범한 사람이 영웅이 되지 않아도 사회가 돌아가야 한다. 선의는 장려하되 선의를 전제로 하지 않아야 하고, 희생은 존중하되 희생을 시스템의 연료로 삼지 않아야 한다. 자본의 힘을 이용하되 자본이 사회의 목적까지 결정하게 해서는 안 되고, 공공성을 지키되 조직 자체의 보존이 목적이 되어서는 안 된다. AI의 능력을 적극적으로 사용하더라도 그 능력만큼의 권력을 자동으로 넘겨주어서는 안 된다.

어쩌면 문명은 완벽한 해답을 하나씩 발견하면서 발전해온 것이 아닐지도 모른다. 오히려 어제의 해답이 오늘의 문제가 되었을 때 그것을 다시 고치면서 여기까지 왔는지도 모른다. 문제를 해결하면 환경이 바뀌고, 인간은 새로운 환경에 적응한다. 그 적응이 다시 새로운 문제를 만들고 우리는 또 다른 해답을 찾는다.

AI 시대에도 이 원리는 사라지지 않을 것이다. 달라지는 것은 그 순환의 속도와 규모다. 문제를 만드는 속도도 빨라지고, 허점을 찾는 속도도 빨라지며, 문제를 발견하고 해결하는 속도 역시 빨라질 것이다. 그러나 피해가 퍼지는 속도까지 빨라지는 순간 우리는 한 가지를 잊어서는 안 된다. 상처를 만드는 속도와 상처를 회복하는 속도는 같지 않다.

그래서 앞으로 가장 중요한 능력은 미래를 정확히 맞히는 능력이 아닐 수도 있다. 틀렸다는 사실을 빨리 알아차리는 능력, 방향을 바꿀 수 있는 능력, 그리고 우리가 만든 해답이 잘못되었을 때 그것을 고치는 동안에도 돌이킬 수 없는 상처가 생기지 않도록 만드는 능력이 더 중요할 수 있다.

문제를 완전히 없애는 사회는 아마 오지 않을 것이다. 그렇다면 좋은 사회란 문제가 없는 사회가 아니라 새로운 문제가 나타났을 때 스스로를 파괴하지 않으면서 다시 고칠 수 있는 사회에 더 가까울지도 모른다.

FROM BUNTGAMES.COM